NVIDIA GB300 NVL72
Ein flüssigkeitsgekühltes Rack mit 72 Blackwell Ultra-GPUs und 36 Grace-CPUs in einer einzigen NVLink-Domäne, mit 20 TB HBM3e und 37 TB schnellem Speicher, reserviert und vermietet als ganzes Rack.
- GPUs pro Rack
- 72
- GPU-Speicher pro Rack
- 20 TB HBM3e
- NVLink pro Rack
- 130 TB/s
- FP4 pro Rack
- 1.080 PFLOPS ohne Sparsity
Technische Daten
| GPU | |
|---|---|
| Konfiguration | 72 NVIDIA Blackwell Ultra-GPUs und 36 NVIDIA Grace-CPUs |
| Architektur | NVIDIA Grace Blackwell Ultra |
| Speicher pro GPU | 279 GB HBM3e mit 8 TB/s |
| GPU-Speicher pro Rack | 20 TB HBM3e, bis zu 576 TB/s |
| CPU-Speicher pro Rack | 17 TB LPDDR5X, 14 TB/s |
| Schneller Speicher pro Rack | 37 TB (HBM3e plus LPDDR5X) |
| CPU-Kerne pro Rack | 2.592 Arm Neoverse V2-Kerne |
| FP4 Tensor, pro Rack | 1.440 PFLOPS mit Sparsity, 1.080 PFLOPS ohne Sparsity |
| FP8 und FP6 Tensor, pro Rack | 720 PFLOPS mit Sparsity |
| FP16 und BF16 Tensor, pro Rack | 360 PFLOPS mit Sparsity |
| TF32 Tensor, pro Rack | 180 PFLOPS mit Sparsity |
| FP32, pro Rack | 6 PFLOPS |
| FP64, pro Rack | 100 TFLOPS |
| NVLink | Fünfte Generation, 1,8 TB/s pro GPU, 130 TB/s pro Rack |
| Leistung pro GPU | Konfigurierbar, bis zu 1.400 W |
| Server im Lieferzustand | |
|---|---|
| Mieteinheit | Ein komplettes Rack, 72 GPUs und 36 CPUs |
| Kühlung | Vollständig flüssigkeitsgekühlt |
| Rechenzentrum | Direct-to-Chip-Flüssigkeitskühlung, vor der Aufstellung bestätigt |
| Rackkonfiguration | Nach Ihren Anforderungen konfiguriert und in Ihrem Angebot bestätigt |
| Netzwerk | |
|---|---|
| Scale-out-Netzwerk | NVIDIA ConnectX-8 SuperNIC, 800 Gbit/s pro GPU |
| Fabric über das Rack hinaus | Gemeinsam mit Ihnen entworfen und in Ihrem Angebot bestätigt |
Typische Workloads
- Inferenz im Rack-Maßstab für Reasoning- und Mixture-of-Experts-Modelle
- Training, bei dem sich die Modellparallelität über mehr als acht GPUs erstreckt
- Diffusionsbasierte Videogenerierung im Rack-Maßstab
Mieten Sie NVIDIA GB300 NVL72-Racks nach Reservierung: 72 Blackwell Ultra-GPUs und 36 Grace-CPUs in einer NVLink-Domäne, flüssigkeitsgekühlt und als ganzes Rack für Sie dediziert. Reservierungen laufen mit Verträgen über 36, 48 oder 60 Monate, und jeden Preis erhalten Sie in einem schriftlichen Angebot.
Für wen sich GB300 NVL72 eignet
GB300 NVL72 ist für Modelle gedacht, bei denen mehr als acht GPUs mit NVLink-Geschwindigkeit kommunizieren müssen. Bei einem 8-GPU-Server läuft der Verkehr zwischen Servern mit 800 Gbit/s pro GPU über das Netzwerk. In einem GB300 NVL72-Rack teilen sich alle 72 GPUs eine NVLink-Domäne mit 1,8 TB/s pro GPU und insgesamt 130 TB/s.
Das ist wichtig für Mixture-of-Experts-Modelle, die Experten auf viele GPUs verteilen, für große tensorparallele Gruppen im Training und für Reasoning-Modelle, die lange Kontexte für viele Nutzer gleichzeitig bedienen. NVIDIA positioniert das Rack außerdem für diffusionsbasierte Videogenerierung.
Stärken
Eine NVLink-Domäne
72 GPUs und 36 Grace-CPUs in einer einzigen NVLink-Domäne, mit einer NVLink-Gesamtbandbreite von 130 TB/s.
Speicher pro Rack
20 TB HBM3e mit bis zu 576 TB/s, das sind 279 GB mit 8 TB/s pro GPU, und 37 TB schneller Speicher, wenn man die 17 TB LPDDR5X der Grace-CPUs mitzählt.
Rechenleistung pro Rack
1.080 PFLOPS FP4 ohne Sparsity (1.440 PFLOPS mit Sparsity) und 720 PFLOPS FP8 mit Sparsity, von GPUs, die jeweils auf bis zu 1.400 W konfigurierbar sind.
Scale-out-Netzwerk
NVIDIA ConnectX-8 SuperNICs bieten jeder GPU eine Netzwerkanbindung mit 800 Gbit/s für Verkehr über das Rack hinaus.
Wie der HGX B300 ist GB300 NVL72 für KI-Zahlenformate gebaut: NVIDIA gibt für das gesamte Rack 100 TFLOPS FP64 an.
Konfiguration im Lieferzustand
GB300 NVL72 wird als komplettes Rack vermietet, nach Ihren Anforderungen konfiguriert und in Ihrem Angebot bestätigt. NVIDIA konzipiert es als vollständig flüssigkeitsgekühltes System, daher stellen wir es nur in einem Rechenzentrum mit Direct-to-Chip-Flüssigkeitskühlung auf, das unsere Anforderungen an Rechenzentren erfüllt: eine vertraglich festgelegte maximale Leistung in kW pro Rack, doppelte Stromversorgungspfade (A- und B-Stromversorgung) zu jedem Rack und gleichzeitige Wartbarkeit (Concurrent Maintainability) bei Strom und Kühlung.
NVIDIA veröffentlicht keinen Leistungswert pro Rack für GB300 NVL72, daher wird er für das gewählte System vor der Aufstellung bestätigt. Unsere Seite Rechenzentren erklärt, wie wir Standorte auswählen.
So funktioniert eine Reservierung
GB300 NVL72 ist nach Reservierung erhältlich: Sie reservieren Racks vor der Bereitstellung. Wir veröffentlichen keine Liefertermine; der Zeitplan für Ihre Racks wird schriftlich vereinbart.
Anfrage und Angebot
Teilen Sie uns mit, wie viele Racks Sie benötigen und wann. Unser schriftliches Angebot legt Konfiguration, Preis und Lieferplan fest.
Onboarding und Vertrag
Das Unternehmen, das die Racks nutzen wird, füllt drei Onboarding-Formulare aus, unterzeichnet dann einen Vertrag über 36, 48 oder 60 Monate und leistet die Anzahlung. Kontingente dieser Größe können eine Sicherheitsleistung erfordern, etwa eine Bankgarantie oder ein Akkreditiv.
Burn-in und Übergabe
Jedes Rack durchläuft vor der Übergabe ein Burn-in, und Sie erhalten die Ergebnisse in einem Abnahmebericht. Die Abrechnung erfolgt monatlich zu einem festen Preis für die gesamte Laufzeit, ohne Egress-Gebühren.
Längere Laufzeiten bedeuten niedrigere Preise. Unsere Seite So mieten Sie beschreibt die Formulare und die Zahlungsstruktur im Detail.
Workloads und Alternativen
GB300 NVL72 eignet sich für Inferenz im Rack-Maßstab mit Reasoning- und Mixture-of-Experts-Modellen und für Training, bei dem sich die Modellparallelität über mehr als einen 8-GPU-Server erstreckt. Unsere Seiten zu KI-Training und KI-Inferenz behandeln die umgebende Infrastruktur. Engpässe beim Training von Foundation Models erklärt, warum der Interconnect die Grenze setzt, sobald ein Modell aufgeteilt wird, und 8 x 270 GB: was auf einen B300-Knoten passt zeigt, wo eine einzelne GPU an ihre Grenzen stößt.
Wenn Sie früher Kapazität benötigen: Für HGX B300 sind Kontingente verfügbar, mit Clustern von 64 bis 288 Knoten auf einer dedizierten Fabric, wie auf unserer Seite GPU-Cluster beschrieben. Zur Generation nach Blackwell Ultra siehe NVIDIA Vera Rubin, ebenfalls nach Reservierung.
Was Kunden fragen
Was bedeutet „nach Reservierung“ bei GB300 NVL72?
Sie reservieren Racks vor der Bereitstellung. Der Lieferplan wird in Ihrem Angebot und Vertrag vereinbart; wir veröffentlichen keine Termine.
Können wir einen Teil eines GB300 NVL72-Racks mieten?
Nein. GB300 NVL72 wird als ganzes Rack mit 72 GPUs und 36 Grace-CPUs vermietet, und die NVLink-Domäne ist für Sie dediziert.
Welche Kühlung braucht GB300 NVL72?
NVIDIA konzipiert es als vollständig flüssigkeitsgekühltes Rack. Wir stellen es nur in einem Rechenzentrum mit Direct-to-Chip-Flüssigkeitskühlung auf, das unsere Anforderungen an Rechenzentren erfüllt.
Worin unterscheidet sich GB300 NVL72 von HGX B300?
Beide nutzen Blackwell Ultra-GPUs. GB300 NVL72 verbindet 72 GPUs und Grace-CPUs in einer flüssigkeitsgekühlten NVLink-Domäne, während der HGX B300 8 GPUs pro luftgekühltem Server verbindet und über eine Fabric mit 800 Gbit/s pro GPU skaliert.
Welche Vertragslaufzeiten gelten?
36, 48 oder 60 Monate, mit niedrigeren Preisen für längere Laufzeiten. Sie leisten bei Unterzeichnung eine Anzahlung und zahlen danach für die gesamte Laufzeit einen festen Monatspreis, ohne Egress-Gebühren.
Mieten Sie GB300 NVL72-Server mit Laufzeiten von 36 bis 60 Monaten.
Nennen Sie uns die Hardware, die Anzahl der Server, die Laufzeit und das Startdatum. Sie erhalten ein schriftliches Angebot auf Grundlage unserer Lieferspezifikation.