NVIDIA HGX B200

Der HGX B200 eignet sich für Teams, die Blackwell für Training und Inferenz nutzen wollen und weiterhin Berechnungen mit doppelter Genauigkeit ausführen. Jede GPU hat 180 GB HBM3e, 1.440 GB pro Server, sodass ein Modell mit 70B Parametern in FP8 (etwa 70 GB Gewichte) auf eine GPU passt und etwa 110 GB für KV-Cache und Batching übrig bleiben.

Forschungsgruppen und KI-Teams, die neben dem Modelltraining Simulationen ausführen, erhalten beides auf einer Plattform. Teams, die den meisten Speicher pro GPU brauchen, sollten ihn mit dem HGX B300 vergleichen, der 270 GB bietet.

Das Blackwell-Datenblatt von NVIDIA nennt 7,7 TB/s Speicherbandbreite pro GPU. Jede GPU ist auf bis zu 1.000 W konfigurierbar, und NVIDIA gibt für sein eigenes DGX B200-System etwa 14,3 kW an, ein nützlicher Wert für die Planung des Rechenzentrums.

HGX B200-Server werden nach Ihren Anforderungen konfiguriert und in Ihrem Angebot bestätigt: CPU, Arbeitsspeicher, lokaler NVMe-Speicher, Netzwerkadapter und Kühlung. Das Referenzdesign DGX B200 von NVIDIA gibt jeder GPU einen ConnectX-7-Adapter mit bis zu 400 Gbit/s, und wir dimensionieren das Backend-Netzwerk für den Cluster, den Sie planen. Jeder Server durchläuft vor der Übergabe ein Burn-in, und Sie erhalten die Ergebnisse in einem Abnahmebericht, wie auf unserer Seite Burn-in und Abnahme beschrieben.

Sie können HGX B200 als einzelne Server oder als Cluster auf einer eigenen, für Sie dedizierten Fabric mieten. Der Cluster wird gemeinsam mit Ihnen entworfen, von der Ost-West-Fabric bis zu CPU-Knoten und Storage, und in Ihrem Angebot festgelegt.

Unsere veröffentlichten Referenzdesigns für HGX B300 zeigen den Ansatz: eine Rail-optimierte, vollständig nicht blockierende Fabric, die kein anderer Kunde mitnutzt, CPU-Knoten für die Dienste rund um die GPUs und Storage, der pro GPU dimensioniert ist. Unsere Seite zu dedizierten GPU-Clustern beschreibt, wie ein Cluster aufgebaut und übergeben wird, und Managed Kubernetes behandelt die Orchestrierung, wenn wir sie für Sie betreiben sollen.

Für HGX B200 sind Kontingente verfügbar. Sie mieten ganze 8-GPU-Server mit einem Vertrag über 36, 48 oder 60 Monate, und längere Laufzeiten bedeuten niedrigere Preise.

Vor der Unterzeichnung füllt das Unternehmen, das die Server nutzen wird, drei Onboarding-Formulare aus. Sie leisten bei Unterzeichnung eine Anzahlung und zahlen danach für die gesamte Laufzeit einen festen Monatspreis, ohne Egress-Gebühren. Größere Kontingente können eine Sicherheitsleistung erfordern, etwa eine Bankgarantie oder ein Akkreditiv. Wir bieten keine Testphasen an: An ihre Stelle treten das Burn-in und der Abnahmebericht. Ihr Angebot nennt den Standort aus unseren Rechenzentrumsstandorten, und unsere Seite So mieten Sie führt durch jeden Schritt.

Der HGX B200 eignet sich für Training und Fine-Tuning, die mit 180 GB pro GPU auskommen, für Inferenz in FP4, FP8 oder INT8 und für wissenschaftliches Rechnen, das neben KI auch FP64 benötigt. Unsere Seite KI-Training behandelt Storage, Fehlerbehandlung und Vertragskonditionen für Trainings-Roadmaps. Die Überlegungen hinter der Dimensionierung finden Sie in Engpässe beim Training von Foundation Models und Warum lange Trainingsläufe in der geteilten Cloud scheitern.

Wenn der Speicher pro GPU die Grenze ist, bietet der HGX B300 270 GB pro GPU und 108 PFLOPS FP4 ohne Sparsity pro Server. Wenn Ihr Code für Ampere optimiert ist, ist die A100 80GB auf Anfrage erhältlich.