Dedizierte GPU-Cluster
HGX B300-Cluster mit 64, 128 oder 288 Knoten, gebaut nach unserer veröffentlichten Lieferspezifikation, vor der Übergabe einem Burn-in unterzogen und auf einer Fabric betrieben, die kein anderer Kunde nutzt.
Ein GPU-Cluster von 1Legion ist ein komplettes NVIDIA HGX B300-System, das einem einzigen Kunden vorbehalten ist: GPU-Server, CPU-Knoten, Control Plane, Storage, eine nicht blockierende Ost-West-Fabric, das Nord-Süd-Netzwerk und das Edge-Netzwerk zum Internet. Wir bauen ihn nach unserer veröffentlichten Lieferspezifikation, führen das Burn-in mit den Hardware-Validierungstests von NVIDIA durch und betreiben ihn während der gesamten Laufzeit von 36 bis 60 Monaten.
Was zu einem dedizierten KI-Cluster gehört
Jede Ebene des Clusters dient einem einzigen Kunden, von den GPUs bis zum Nord-Süd-Netzwerk, und jede Ebene ist schriftlich spezifiziert, bevor Sie unterschreiben.
| Knoten | Rolle | Spezifikation |
|---|---|---|
| GPU-Knoten | Führt Ihr Training und Ihre Inferenz aus | NVIDIA HGX B300, 8 GPUs mit je 270 GB HBM3e; mindestens 128 vCPUs; 3 TB Arbeitsspeicher bevorzugt, mindestens 1,92 TB; mindestens 9,2 TB lokaler NVMe-Speicher (Rohkapazität); 800 Gbit/s pro GPU über NVIDIA ConnectX-8 (bevorzugt); Frontend mit NVIDIA BlueField-3 und 2 x 400 Gbit/s (bevorzugt); luftgekühlt auf Empfehlung des OEM |
| CPU-Knoten | Führt die Dienste rund um die GPUs aus: Bereitstellung von Modellen, Routing und Batch-Verarbeitung | x86, mindestens 128 vCPUs mit einem Basistakt über 3 GHz, AMD EPYC 9565 oder 9575F bevorzugt; 4 GB Arbeitsspeicher pro Thread; Frontend mit BlueField-3 |
| Control-Plane-Knoten | Die Control Plane des Clusters | 32 vCPUs mit über 3,65 GHz, AMD EPYC 9175F bevorzugt; 128 GB Arbeitsspeicher; sechs Knoten pro 2.304 GPUs, verteilt auf zwei Racks |
CPU-Knoten werden nach der Zahl der GPUs dimensioniert: mindestens 6 Hardware-Threads und 24 GB Arbeitsspeicher für jede GPU im Cluster. B300 für KI-Modelllabore beschreibt, was dauerhaftes Training von jeder Ebene verlangt.
Referenzkonfigurationen für HGX B300-Cluster
Drei Referenzgrößen legen fest, wie viele CPU-Knoten und Control-Plane-Knoten, wie viel Storage und wie viele Megawatt zu einer bestimmten Zahl von GPU-Knoten gehören.
| Merkmal | 64 Knoten | 128 Knoten | 288 Knoten |
|---|---|---|---|
| GPU-Knoten (je 8 GPUs) | 64 | 128 | 288 |
| GPUs | 512 | 1.024 | 2.304 |
| CPU-Knoten | 24 | 48 | 108 |
| Control-Plane-Knoten | 6 | 6 | 6 |
| Storage, Appliance-Option (nutzbar) | 512 TB | 1.024 TB | 2.304 TB |
| Storage, Option mit Storage-Knoten | 9 Knoten | 17 Knoten | 38 Knoten |
| Geschätzte IT-Last | etwa 0,98 MW | etwa 1,95 MW | etwa 4,39 MW |
Die Verhältnisse gelten für jede Größe. Mit 24, 48 und 108 CPU-Knoten mit je 128 vCPUs erhält jede GPU 6 Hardware-Threads. Die Storage-Appliance bietet mindestens 1 TB nutzbare Kapazität pro GPU. Sechs Control-Plane-Knoten decken alle drei Größen ab, weil die Spezifikation sechs pro 2.304 GPUs vorsieht. Insgesamt umfassen die drei Größen etwa 138 TB, 276 TB und 622 TB HBM3e und bleiben innerhalb von 1 MW, 2 MW und 4,4 MW IT-Last.
Größere Cluster nach individueller Planung
Die Referenzgrößen enden bei 288 Knoten, das Design nicht. Die Spezifikation dimensioniert jede Ebene pro GPU: 800 Gbit/s Fabric, 6 CPU-Threads und 24 GB CPU-Arbeitsspeicher sowie 1 TB nutzbarer Storage. Ein größerer Cluster behält diese Verhältnisse bei, und Ihr Angebot legt Design, Standort und Leistung fest. HGX B300-Cluster laufen heute in Toronto, und Kapazität in Delaware in den USA wird gerade in Betrieb genommen.
Die Ost-West-Fabric: Ethernet oder InfiniBand
Jede GPU hat eine eigene Anbindung mit 800 Gbit/s an eine Rail-optimierte, vollständig nicht blockierende Fabric, die nur Ihren Datenverkehr überträgt.
- Bandbreite: 1 x 800 Gbit/s oder 2 Ebenen mit je 400 Gbit/s pro GPU, 6,4 Tbit/s pro Server, bevorzugt mit NICs vom Typ NVIDIA ConnectX-8.
- Rail-optimiert: Die NIC der GPU 1 in jedem Server ist mit Rail 1 verbunden, GPU 2 mit Rail 2 und so weiter.
- Nicht blockierend: keine Überbuchung in der Fabric, sodass alle GPUs gleichzeitig mit voller Bandbreite senden können.
- Switching: NVIDIA Spectrum-X oder Broadcom Tomahawk 6 bevorzugt; NVIDIA Quantum InfiniBand oder Tomahawk 5 akzeptiert.
- Vor der Übergabe getestet: NCCL-Durchsatz mit nccl-tests, mit SHARP, wo unterstützt (HW-1), und jede InfiniBand- oder RoCE-Rail mit ib_write_bw (HW-2).
Engpässe beim Training von Foundation Models erklärt, warum Interconnect- und Speicherbandbreite den Trainingsdurchsatz stärker bestimmen als die Zahl der GPUs.
Storage, Nord-Süd-Netzwerk und Edge
Storage und die Netzwerke rund um die Fabric sind pro GPU und pro Knoten spezifiziert, im selben Dokument wie die GPUs.
- Storage, Option A: eine vom Hersteller verwaltete Appliance von VAST Data, WEKA oder DDN, mindestens 1 TB nutzbar pro GPU, mit 24/7-Eskalation an den Hersteller sowie zugesagtem Durchsatz und zugesagter Latenz pro Storage-Tier.
- Storage, Option B: Storage-Knoten für Ihre eigene Storage-Software, mindestens 3 TB Rohkapazität pro GPU auf NVMe-Laufwerken (PCIe 5.0) mit 30,72 TB, mindestens 9 Knoten.
- Nord-Süd: 400 Gbit/s pro Knoten bevorzugt, mindestens 200 Gbit/s; keine Überbuchung an den Storage-Leaf-Switches und unter 4:1 an den GPU-Leaf-Switches; RoCEv2 und MTU 9000.
- Edge: zwei unabhängige Transit-Provider mit 100 Gbit/s pro Leitung, eBGP mit BFD und DDoS-Scrubbing, das innerhalb von 5 Minuten über BGP aktiviert wird.
NAT, öffentliche Adressen, Ihr eigener IP-Adressraum und Ihre eigene ASN sowie Flow-Telemetrie werden auf der Seite Storage und Netzwerk behandelt.
Leistungsplanung für einen GPU-Cluster
Planen Sie mit etwa 14 kW pro GPU-Knoten: Zusammen mit CPU-Knoten, Control Plane, Storage-Knoten und Netzwerk benötigt ein Cluster mit 64 Knoten etwa 0,98 MW IT-Last.
| Cluster mit 64 Knoten | Anzahl | Planungswert | Last |
|---|---|---|---|
| GPU-Knoten | 64 | je etwa 14 kW | 896 kW |
| CPU-Knoten | 24 | je 1,0 kW | 24 kW |
| Control-Plane-Knoten | 6 | je 0,5 kW | 3 kW |
| Storage-Knoten, Option B | 9 | je 1,3 kW | 11,7 kW |
| Netzwerk | 5 Prozent der GPU-Last | 44,8 kW | |
| Gesamt | etwa 0,98 MW |
Nach derselben Methode ergeben sich etwa 1,95 MW für 128 Knoten und 4,39 MW für 288. Der Wert von 14 kW ist eine Arbeitsannahme für einen luftgekühlten HGX B300-Knoten; NVIDIA gibt für sein eigenes DGX B300-System etwa 14 kW an. Das Rechenzentrum muss eine vertraglich festgelegte maximale Leistung in kW pro Rack zusagen, und dieser Wert bestimmt, wie viele GPU-Knoten sich ein Rack teilen. Die Seite Rechenzentren nennt, was wir darüber hinaus von einem Standort verlangen.
So wird ein Cluster geliefert
Ein Cluster gelangt in fünf Schritten vom Angebot in die Produktion, und der Abnahmebericht markiert die Grenze zwischen Aufbau und Betrieb.
Angebot
Wir senden Ihnen ein schriftliches Angebot auf Basis der Lieferspezifikation. Jede Position ist als „Erforderlich“ oder „Bevorzugt“ gekennzeichnet, und jede Änderung, die Sie benötigen, wird als nummerierte Abweichung aufgeführt.
Vertrag und Onboarding
Das Unternehmen, das den Cluster nutzen wird, füllt drei Onboarding-Formulare aus, unterzeichnet den Mietvertrag und leistet die Anzahlung. Größere Kontingente können eine Bankgarantie oder ein Akkreditiv erfordern.
Aufbau
Wir bauen die Server in die Racks ein, bauen die Fabric, das Nord-Süd-Netzwerk und das Edge-Netzwerk auf und erfassen jedes Rack, jeden Knoten, jede GPU, jede NIC, jedes Laufwerk, jeden Switch, Port und Transceiver sowie jedes Kabel in einem maßgeblichen Inventar.
Burn-in
Der Cluster besteht die Hardware-Validierungstests HW-1 bis HW-5 von NVIDIA: NCCL-Durchsatz, jede Rail der Fabric, GPUDirect RDMA und Storage, NVLink und NVSwitch sowie einen 24-Stunden-Dauertest bei konstanter Leistungsbegrenzung.
Übergabe und Betrieb
Sie erhalten den Abnahmebericht mit allen Ergebnissen. Danach betreiben wir den Cluster gemäß unseren Betriebszusagen, mit einem gemeinsamen Slack-Kanal und einem festen technischen Ansprechpartner für Ihren Account.
Burn-in und Abnahme beschreibt jeden Test und was geschieht, wenn ein Knoten einen davon nicht besteht.
Was Kunden fragen
Nutzt die Fabric InfiniBand oder Ethernet?
Unsere Lieferspezifikation bevorzugt Ethernet mit NVIDIA Spectrum-X oder Broadcom Tomahawk 6 und akzeptiert NVIDIA Quantum InfiniBand oder Tomahawk 5. In beiden Fällen ist die Fabric Rail-optimiert, vollständig nicht blockierend und bietet 800 Gbit/s pro GPU.
Wird der Cluster mit anderen Kunden geteilt?
Nein. Die GPU-Server, die Ost-West-Fabric und das Nord-Süd-Netzwerk sind für einen einzigen Kunden dediziert.
Wie viel Leistung benötigt ein GPU-Cluster?
Etwa 0,98 MW IT-Last für 64 Knoten, 1,95 MW für 128 und 4,39 MW für 288, geplant mit etwa 14 kW pro GPU-Knoten.
Sind die GPU-Knoten luft- oder flüssigkeitsgekühlt?
HGX B300-Knoten sind luftgekühlt, auf Empfehlung des OEM für den Einsatz im Clustermaßstab. GB300 NVL72, erhältlich nach Reservierung, ist flüssigkeitsgekühlt.
Sehen wir die Ergebnisse des Burn-ins?
Ja. Jeder Cluster besteht vor der Übergabe die Hardware-Validierungstests HW-1 bis HW-5 von NVIDIA, und Sie erhalten die Ergebnisse in einem Abnahmebericht. Siehe Burn-in und Abnahme.
Kann ein Cluster größer als 288 Knoten sein?
Ja. Die Spezifikation dimensioniert jede Ebene pro GPU, sodass ein größerer Cluster dieselben Verhältnisse beibehält. Ihr Angebot legt Design, Standort und Leistung fest.
Sagen Sie uns, was Sie betreiben möchten.
Nennen Sie uns die Hardware, die Anzahl der Server, die Laufzeit und das Startdatum. Sie erhalten ein schriftliches Angebot auf Grundlage unserer Lieferspezifikation.