NVIDIA HGX B300
Acht Blackwell Ultra-GPUs mit je 270 GB HBM3e und 800 Gbit/s Netzwerk pro GPU, gemietet als ganze Server oder als dedizierte Cluster, gebaut nach unserer veröffentlichten Lieferspezifikation.
- GPUs pro Server
- 8
- Speicher pro GPU
- 270 GB HBM3e
- FP4 pro Server
- 108 PFLOPS ohne Sparsity
- Netzwerk pro GPU
- 800 Gbit/s
Ein HGX B300-Server von innen
Was Sie mieten, Komponente für Komponente.
-
Ein Server, ein Kunde
Die GPUs, die CPUs, der Arbeitsspeicher, die Laufwerke und die Netzwerkports im Gehäuse sind für die gesamte Laufzeit einem einzigen Kunden vorbehalten. Nichts darin wird geteilt.
-
Acht Blackwell Ultra-GPUs
Acht SXM-GPUs auf einem Baseboard, jede mit 270 GB HBM3e und 7,7 TB/s. Das sind 2,1 TB GPU-Speicher in einem Server.
-
Eine NVLink-Domäne
NVLink der fünften Generation verbindet alle acht GPUs mit 1,8 TB/s pro GPU, insgesamt 14,4 TB/s im Server, sodass sich ein Modell über das ganze Board erstrecken kann.
-
800 Gbit/s pro GPU
Jede GPU hat einen eigenen Port mit 800 Gbit/s zur Cluster-Fabric, bevorzugt NVIDIA ConnectX-8, auf einer Rail-optimierten Fabric, die kein anderer Kunde nutzt.
-
Laufwerke und Luftkühlung
Vorne sitzen NVMe-Laufwerke mit mindestens 9,2 TB Rohkapazität für Daten, in einem luftgekühlten Gehäuse, das nach unserer Lieferspezifikation gebaut ist.
Technische Daten
| GPU | |
|---|---|
| Plattform | NVIDIA HGX B300, 8 SXM-GPUs auf einem Baseboard |
| Architektur | NVIDIA Blackwell Ultra |
| Speicher pro GPU | 270 GB HBM3e (Spezifikation NVIDIA HGX B300) |
| GPU-Speicher pro Server | 2,1 TB HBM3e (8 x 270 GB, laut Angabe von NVIDIA) |
| Speicherbandbreite pro GPU | 7,7 TB/s |
| FP4 Tensor, 8 GPUs | 144 PFLOPS mit Sparsity, 108 PFLOPS ohne Sparsity |
| FP8 und FP6 Tensor, 8 GPUs | 72 PFLOPS mit Sparsity |
| FP16 und BF16 Tensor, 8 GPUs | 36 PFLOPS mit Sparsity |
| TF32 Tensor, 8 GPUs | 18 PFLOPS mit Sparsity |
| FP32, 8 GPUs | 600 TFLOPS |
| FP64, 8 GPUs | 10 TFLOPS |
| NVLink | Fünfte Generation, 1,8 TB/s pro GPU, 14,4 TB/s pro Server |
| PCIe | Gen6, 256 GB/s |
| Leistung pro GPU | Konfigurierbar, bis zu 1.100 W |
| Multi-Instance GPU | Bis zu 7 Instanzen pro GPU |
| Server im Lieferzustand | |
|---|---|
| CPU | Mindestens 128 vCPUs |
| Arbeitsspeicher | 3 TB bevorzugt, mindestens 1,92 TB (240 GB pro GPU) |
| Boot-Storage | 2 x 1 TB NVMe, gespiegelt (bevorzugt) |
| Lokaler Datenspeicher | Mindestens 9,2 TB NVMe (Rohkapazität) |
| Kühlung | Luftgekühlt |
| Leistungsplanung | Etwa 14 kW pro Server (Arbeitsannahme) |
| Netzwerk | |
|---|---|
| Backend-Netzwerk | 800 Gbit/s pro GPU (1 x 800, 2 x 400 oder 4 x 200 Gbit/s), NVIDIA ConnectX-8 bevorzugt |
| Frontend-Netzwerk | NVIDIA BlueField-3, 2 x 400 Gbit/s bevorzugt, mindestens 2 x 200 Gbit/s |
| Ost-West-Fabric | Rail-optimiert, vollständig nicht blockierend, für einen einzigen Kunden dediziert |
| Fabric-Switching | NVIDIA Spectrum-X oder Broadcom Tomahawk 6 bevorzugt; NVIDIA Quantum InfiniBand oder Tomahawk 5 akzeptiert |
| Nord-Süd | 400 Gbit/s pro Knoten bevorzugt, mindestens 200 Gbit/s, RoCEv2, MTU 9000 |
Typische Workloads
- Pre-Training und Post-Training großer Modelle
- Reinforcement Learning und Fine-Tuning im Clustermaßstab
- Inferenz für Reasoning- und Mixture-of-Experts-Modelle mit langen Kontexten
Mieten Sie NVIDIA HGX B300-Server als ganze 8-GPU-Knoten oder als Cluster auf einer Fabric, die kein anderer Kunde mitnutzt. Jeder Server wird nach unserer veröffentlichten Lieferspezifikation gebaut, durchläuft vor der Übergabe ein Burn-in und wird mit einem Vertrag über 36, 48 oder 60 Monate zu einem festen Monatspreis gemietet.
Für wen sich der HGX B300 eignet
Der HGX B300 ist für Teams gedacht, deren Modelle für 80 bis 180 GB pro GPU zu groß geworden sind. Jede GPU bietet 270 GB HBM3e, 2,1 TB pro Server, sodass ein Modell mit 70B Parametern in FP8 (etwa 70 GB Gewichte) auf einer GPU etwa 200 GB für KV-Cache und Batching übrig lässt.
KI-Labore mieten ihn für Pre-Training- und Post-Training-Läufe, die Wochen dauern. Inferenzteams mieten ihn, um Reasoning- und Mixture-of-Experts-Modelle mit langen Kontexten bereitzustellen. Er bildet den Kern der Kapazität von 1Legion und ist der Server, auf den unsere Lieferspezifikation für HGX B300 zugeschnitten ist.
Stärken
Speicher und Bandbreite pro GPU zeichnen den HGX B300 aus.
NVIDIA gibt für jede GPU 7,7 TB/s Speicherbandbreite an, die Obergrenze für die Decode-Geschwindigkeit großer Modelle. Das 8-GPU-Board liefert 108 PFLOPS FP4 ohne Sparsity (144 PFLOPS mit Sparsity), gegenüber 72 PFLOPS ohne Sparsity bei einem HGX B200, und 72 PFLOPS FP8 mit Sparsity. NVLink der fünften Generation bietet jeder GPU 1,8 TB/s zu den anderen sieben, insgesamt 14,4 TB/s im Server, und jede GPU hat einen eigenen Port mit 800 Gbit/s zur Cluster-Fabric.
Der Kompromiss liegt bei der doppelten Genauigkeit. NVIDIA gibt für das Board 10 TFLOPS FP64 an, der HGX B300 ist also ein Server für KI-Zahlenformate, nicht für FP64-Simulationen.
Konfiguration im Lieferzustand
Die Konfiguration stammt aus unserer Lieferspezifikation 1LG-DEL-SPEC-2026-001. Alles, was Ihr Angebot ändert, wird als nummerierte Abweichung aufgeführt, sodass Sie sehen, wo Ihre Server von der veröffentlichten Basis abweichen.
- CPU und Arbeitsspeicher: mindestens 128 vCPUs und bevorzugt 3 TB Arbeitsspeicher, nie weniger als 240 GB pro GPU (1,92 TB).
- Lokaler Storage: bevorzugt ein gespiegeltes Paar NVMe-Boot-Laufwerke mit je 1 TB, dazu mindestens 9,2 TB NVMe-Rohkapazität für Daten, mehr als das Vierfache des GPU-Speichers.
- Netzwerk: 800 Gbit/s pro GPU im Backend, bevorzugt mit NVIDIA ConnectX-8, und ein Frontend mit NVIDIA BlueField-3, bevorzugt 2 x 400 Gbit/s, mindestens 2 x 200 Gbit/s.
- Kühlung und Leistung: luftgekühlt, wie es der OEM für den Clustermaßstab empfiehlt. Wir planen die Leistung mit etwa 14 kW pro Server.
Clusteroptionen für HGX B300
Ein Cluster von 1Legion ist einem einzigen Kunden dediziert, bis hin zu den Switches. Unsere drei Referenzgrößen nutzen denselben Server:
| Merkmal | 64 Knoten | 128 Knoten | 288 Knoten |
|---|---|---|---|
| GPU-Knoten (je 8 GPUs) | 64 | 128 | 288 |
| GPUs | 512 | 1.024 | 2.304 |
| CPU-Knoten | 24 | 48 | 108 |
| Control-Plane-Knoten | 6 | 6 | 6 |
| Storage, Appliance-Option (nutzbar) | 512 TB | 1.024 TB | 2.304 TB |
| Storage, Option mit Storage-Knoten | 9 Knoten | 17 Knoten | 38 Knoten |
| Geschätzte IT-Last | etwa 0,98 MW | etwa 1,95 MW | etwa 4,39 MW |
Die Ost-West-Fabric ist Rail-optimiert und vollständig nicht blockierend mit 800 Gbit/s pro GPU, bevorzugt auf NVIDIA Spectrum-X oder Broadcom Tomahawk 6. CPU-Knoten führen die Dienste rund um die GPUs aus, und der Storage ist entweder eine vom Hersteller verwaltete Appliance mit mindestens 1 TB nutzbarer Kapazität pro GPU oder es sind Storage-Knoten für Ihre eigene Software. Unsere Seite zu dedizierten GPU-Clustern behandelt Design und Lieferung, und Storage und Netzwerk behandelt das Edge-Netzwerk, den DDoS-Schutz und Ihren eigenen IP-Adressraum.
So funktioniert die Miete
Für HGX B300 sind Kontingente verfügbar. Sie mieten ganze Server, und jeden Preis erhalten Sie in einem schriftlichen Angebot.
Anfrage und Angebot
Teilen Sie uns mit, wie viele Server Sie benötigen, für wie lange und ab wann. Wir antworten mit Rückfragen oder einem schriftlichen Angebot.
Onboarding und Vertrag
Das Unternehmen, das die Server nutzen wird, füllt drei Onboarding-Formulare aus, unterzeichnet einen Vertrag über 36, 48 oder 60 Monate und leistet die Anzahlung. Längere Laufzeiten bedeuten niedrigere Preise.
Aufbau und Burn-in
Wir bauen nach der Lieferspezifikation und führen die Hardware-Validierungstests HW-1 bis HW-5 von NVIDIA durch. Die Ergebnisse fließen in Ihren Abnahmebericht ein.
Betrieb
Die Abrechnung erfolgt monatlich zu einem festen Preis für die gesamte Laufzeit, ohne Egress-Gebühren. Sie arbeiten mit unserem Technikteam in einem gemeinsamen Slack-Kanal zusammen, mit einem festen technischen Ansprechpartner für Ihren Account, gemäß unseren Betriebszusagen.
HGX B300-Kapazität läuft in Toronto (in Betrieb) und in Delaware in den USA (Inbetriebnahme läuft). Größere Kontingente können eine Sicherheitsleistung erfordern, etwa eine Bankgarantie oder ein Akkreditiv. Unsere Seite So mieten Sie erklärt jeden Schritt.
Workloads und Alternativen
Wählen Sie den HGX B300, wenn der Speicher pro GPU oder die Bandbreite zwischen den GPUs Ihre Grenze ist: lange Pre-Training-Läufe, Post-Training und Reinforcement Learning sowie Inferenz für Modelle, die mehr als 180 GB pro GPU benötigen. Unsere Seiten zu KI-Training und KI-Inferenz behandeln den Rest des Stacks, und zwei Artikel rechnen die Zahlen durch: 8 x 270 GB: was auf einen B300-Knoten passt und B300 für KI-Modelllabore.
Wenn Ihre Arbeit FP64 benötigt oder in 180 GB pro GPU passt, sehen Sie sich den HGX B200 an. Wenn Sie 72 GPUs in einer NVLink-Domäne benötigen, sind Racks mit GB300 NVL72 nach Reservierung erhältlich.
Was Kunden fragen
Wie viele HGX B300-Server können wir mieten?
Von einem einzelnen 8-GPU-Server bis zu einem dedizierten Cluster. Unsere Referenzcluster haben 64, 128 und 288 Knoten (512 bis 2.304 GPUs), und das Design skaliert darüber hinaus. Siehe Dedizierte GPU-Cluster.
Können wir einen HGX B300-Server testen, bevor wir unterschreiben?
Wir führen keine Testphasen und keine Proofs of Concept durch. Jeder Cluster besteht vor der Übergabe die Hardware-Validierungstests HW-1 bis HW-5 von NVIDIA, und Sie erhalten die Ergebnisse in einem Abnahmebericht. Siehe Burn-in und Abnahme.
Wo werden die HGX B300-Server betrieben?
In Toronto, Kanada (in Betrieb), und in Delaware in den USA (Inbetriebnahme läuft). Ihr Angebot nennt den Standort.
Welche Vertragslaufzeiten gibt es?
36, 48 oder 60 Monate, mit niedrigeren Preisen für längere Laufzeiten. Sie leisten bei Unterzeichnung eine Anzahlung und zahlen danach für die gesamte Laufzeit einen festen Monatspreis, ohne Egress-Gebühren.
Eignet sich der HGX B300 für FP64-Simulationen?
Nein. NVIDIA gibt für einen HGX B300 mit 8 GPUs 10 TFLOPS FP64 an, gegenüber 296 TFLOPS bei einem HGX B200. Für FP64-lastige Arbeit sehen Sie sich den HGX B200 an.
Können Sie Kubernetes oder Slurm auf dem Cluster für uns betreiben?
Ja, als Option. Wir installieren, betreiben, aktualisieren und überwachen Kubernetes mit dem NVIDIA GPU Operator und dem Network Operator oder Managed Slurm, in Ihrem Angebot zusätzlich zur Miete bepreist. Siehe Managed Kubernetes.
Mieten Sie B300-Server mit Laufzeiten von 36 bis 60 Monaten.
Nennen Sie uns die Hardware, die Anzahl der Server, die Laufzeit und das Startdatum. Sie erhalten ein schriftliches Angebot auf Grundlage unserer Lieferspezifikation.