GPU-Cluster für KI-Training
Dedizierte NVIDIA HGX B300-Cluster mit 270 GB HBM3e und 800 Gbit/s Fabric-Bandbreite pro GPU, gebaut nach einer veröffentlichten Spezifikation und mit Burn-in vor Ihrem ersten Trainingsschritt.
Ein GPU-Cluster von 1Legion für KI-Training besteht aus ganzen NVIDIA HGX B300-Servern an einer Ost-West-Fabric, die nur Ihren Datenverkehr trägt, vermietet an einen einzigen Kunden für 36, 48 oder 60 Monate. Wir bauen jeden Cluster nach unserer veröffentlichten Lieferspezifikation und führen vor der Übergabe ein Burn-in durch, sodass der erste Schritt eines mehrwöchigen Laufs auf Knoten beginnt, die bereits einen 24-Stunden-Dauertest bestanden haben.
Was Infrastruktur für LLM-Training dauerhaft leisten muss
Ein Trainingslauf über Wochen braucht Speicher für seinen Optimizer-Zustand, eine Fabric ohne langsame Verbindung, schnellen Checkpoint-Storage und eine Umgebung, die sich unter ihm nicht verändert.
Speicher für den Optimizer-Zustand
Training mit gemischter Genauigkeit und dem Adam-Optimizer belegt etwa 16 Byte pro Parameter für Gewichte, Gradienten und Optimizer-Zustand. Bei einem Modell mit 70B Parametern sind das etwa 1,1 TB vor den Aktivierungen, was in die 2,1 TB HBM3e eines HGX B300-Servers passt.
Eine Fabric ohne langsame Verbindung
Training mit Sharding und Datenparallelität synchronisiert die Gradienten bei jedem Schritt über alle GPUs, daher bremst eine einzige überlastete Verbindung den ganzen Cluster. Unsere HGX B300-Fabrics sind mit 800 Gbit/s pro GPU vollständig nicht blockierend.
Checkpoint-Durchsatz
Ein Checkpoint mit FP32-Master-Gewichten und Adam-Zustand für ein Modell mit 70B Parametern umfasst etwa 840 GB, und ein synchrones Speichern hält jede GPU an, bis er geschrieben ist. Storage wird pro GPU dimensioniert, und Checkpoints verlassen den Cluster ohne Egress-Gebühren.
Eine Umgebung, die stillhält
Kein anderer Mandant teilt Ihre Server oder Ihre Fabric. Änderungen auf unserer Seite folgen einem schriftlichen Change-Management, mit einer Vorankündigung von mindestens 7 Tagen bei risikoreicher Wartung.
Unser Beitrag zu Engpässen im Training erklärt, warum Speicher und Interconnect den Trainingsdurchsatz bestimmen und nicht die Anzahl der GPUs.
Welche Server zu Trainings-Workloads passen
HGX B300 ist unsere wichtigste Trainingsplattform, und auch für HGX B200 sind Kontingente verfügbar. GB300 NVL72 und Vera Rubin gibt es nach Reservierung.
- Speicher pro GPU
- 270 GB HBM3e
- GPUs pro Server
- 8
- Speicher pro GPU
- 180 GB HBM3e
- GPUs pro Server
- 8
- Speicher pro GPU
- 279 GB HBM3e
- GPUs pro Rack
- 72
- Speicher pro GPU
- 288 GB HBM4
- GPUs pro Server
- 8
| 8-GPU-Server | HGX B300 | HGX B200 |
|---|---|---|
| GPU-Speicher pro Server | 2,1 TB HBM3e | 1.440 GB HBM3e |
| Speicherbandbreite pro GPU | 7,7 TB/s | 7,7 TB/s |
| NVLink | 1,8 TB/s pro GPU, 14,4 TB/s gesamt | 1,8 TB/s pro GPU, 14,4 TB/s gesamt |
| FP4-Tensor pro Server, mit und ohne Sparsity | 144 und 108 PFLOPS | 144 und 72 PFLOPS |
| FP8-Tensor pro Server, mit Sparsity | 72 PFLOPS | 72 PFLOPS |
| FP64 pro Server | 10 TFLOPS | 296 TFLOPS |
Wählen Sie HGX B300, wenn der Speicher pro GPU über Ihr Sharding entscheidet: 270 GB fassen die 140 GB BF16-Gewichte eines Modells mit 70B Parametern auf einer GPU, und 130 GB bleiben frei. Wählen Sie HGX B200, wenn Ihre Arbeit Training mit FP64-Simulation kombiniert. GB300 NVL72 vereint 72 Blackwell Ultra-GPUs und 36 Grace-CPUs in einer flüssigkeitsgekühlten NVLink-Domäne mit 20 TB HBM3e und 130 TB/s NVLink-Bandbreite. Vera Rubin ist die nächste NVIDIA-Plattform, die wir bestellt haben, mit 288 GB HBM4 pro GPU und NVLink der sechsten Generation.
Eine dedizierte, nicht blockierende Fabric
Jeder HGX B300-Cluster erhält eine eigene Ost-West-Fabric, Rail-optimiert und vollständig nicht blockierend, mit 800 Gbit/s pro GPU.
- Bandbreite: Ebenen mit 1 x 800 oder 2 x 400 Gbit/s pro GPU, 6,4 Tbit/s pro Server, bevorzugt mit NVIDIA ConnectX-8.
- Switching: bevorzugt NVIDIA Spectrum-X oder Broadcom Tomahawk 6, akzeptiert NVIDIA Quantum InfiniBand oder Tomahawk 5.
- Innerhalb jedes Servers: NVLink der fünften Generation mit 1,8 TB/s pro GPU.
- Storage und Dienste: ein separates Nord-Süd-Netzwerk, bevorzugt mit 400 Gbit/s pro Knoten, RoCEv2-fähig, MTU 9000, ohne Überbuchung an den Storage-Leaf-Switches.
Cluster gibt es in drei Referenzgrößen, und größere Cluster folgen demselben Design.
| Merkmal | 64 Knoten | 128 Knoten | 288 Knoten |
|---|---|---|---|
| GPU-Knoten (je 8 GPUs) | 64 | 128 | 288 |
| GPUs | 512 | 1.024 | 2.304 |
| CPU-Knoten | 24 | 48 | 108 |
| Control-Plane-Knoten | 6 | 6 | 6 |
| Storage, Appliance-Option (nutzbar) | 512 TB | 1.024 TB | 2.304 TB |
| Storage, Option mit Storage-Knoten | 9 Knoten | 17 Knoten | 38 Knoten |
| Geschätzte IT-Last | etwa 0,98 MW | etwa 1,95 MW | etwa 4,39 MW |
Jede Größe umfasst CPU-Knoten für Bereitstellung, Routing und Batch-Verarbeitung mit mindestens 6 Hardware-Threads und 24 GB Arbeitsspeicher pro GPU im Cluster sowie sechs Control-Plane-Knoten, verteilt auf zwei Racks. Unsere Seite GPU-Cluster behandelt die Planung der Stromversorgung mit etwa 14 kW pro GPU-Knoten.
Storage für Checkpoints und Datensätze
Storage gibt es in zwei Optionen, beide pro GPU dimensioniert, und jeder GPU-Knoten bringt zusätzlich mindestens 9,2 TB lokalen NVMe-Speicher (Rohkapazität) für Datensatz-Shards und das Staging von Checkpoints mit.
Option A: eine verwaltete Appliance
Eine Appliance von VAST Data, WEKA oder DDN, je nach Ihrer Präferenz, mit mindestens 1 TB nutzbarer Kapazität pro GPU (512 TB bei einem Cluster mit 64 Knoten), zugesagtem Durchsatz und zugesagter Latenz pro Tier, sichtbarer Nutzung und Quotas, getesteter Wiederherstellung und 24/7-Eskalation an den Hersteller.
Option B: Storage-Knoten für Ihre eigene Software
Storage-Knoten mit mindestens 3 TB Rohkapazität pro GPU auf NVMe-Laufwerken mit PCIe 5.0 und 30,72 TB, ab mindestens 9 Knoten, mit Unterstützung für selbstverschlüsselnde Laufwerke. Beide Optionen sind auf der Seite Storage und Netzwerk beschrieben.
Wie wir Fehler während eines Laufs behandeln
Fällt Hardware während eines Laufs aus, nehmen wir den Knoten außer Betrieb und reparieren oder ersetzen ihn, damit Ihr Job auf intakten Knoten neu starten kann.
- Bei fatalen GPU-Fehlern (XID 79, XID 48, Double-Bit-ECC-Fehler und Fehler beim Row Remapping) wird der Knoten sofort unter Quarantäne gestellt.
- Wiederkehrende Fehler XID 13 und XID 31 werden ab einer mit Ihnen vereinbarten Anzahl behandelt.
- NCCL-Hänger werden mit Fabric-Ereignissen korreliert, sodass ein blockierter Job der verursachenden Verbindung zugeordnet wird.
- Knoten mit Verdacht auf stille Datenkorruption bleiben in Quarantäne.
- NVMe-Laufwerke werden ausgetauscht, bevor sie ihre Verschleißgrenze erreichen.
Betriebstelemetrie wird mindestens 30 Tage aufbewahrt, der Verlauf von Störungen und Zuständen mindestens 12 Monate. Die vollständige Liste steht in unseren Betriebszusagen, und unser Beitrag dazu, warum lange Trainingsläufe in der geteilten Cloud scheitern, behandelt die Fehlerbilder.
Burn-in statt Testphase
Jeder Cluster besteht vor der Übergabe die Hardware-Validierungstests HW-1 bis HW-5 von NVIDIA, und die Ergebnisse fließen in Ihren Abnahmebericht ein.
- HW-1
Kollektiver Durchsatz
NCCL-Durchsatz auf Baseline-Niveau mit nccl-tests, mit SHARP-beschleunigten kollektiven Operationen, wo die Fabric sie unterstützt.
nccl-tests - HW-2
Jede Netzwerk-Rail
Jede InfiniBand- oder RoCE-Rail, getestet mit ib_write_bw.
ib_write_bw - HW-3
GPUDirect und Storage
Smoke-Tests für GPUDirect RDMA und Storage, einschließlich NVMe-Lesen und -Schreiben.
GPUDirect RDMA, NVMe - HW-4
NVLink und NVSwitch
Anzahl und Bandbreite der NVLink- und NVSwitch-Links, geprüft mit nvbandwidth.
nvbandwidth - HW-5
24-Stunden-Dauertest
Ein 24-Stunden-Dauertest unter repräsentativer Inferenzlast bei konstanter Leistungsbegrenzung.
Inferenzlast bei Leistungsbegrenzung
Wir bieten keine Testphasen, Proofs of Concept oder kurzfristigen Mieten an. Der Abnahmebericht zeigt den NCCL-Durchsatz, jede InfiniBand- oder RoCE-Rail, die NVLink- und NVSwitch-Verbindungen und einen 24-Stunden-Dauertest, gemessen auf den Knoten, auf denen Sie trainieren werden. So funktionieren Burn-in und Abnahme.
GPUs für Modelltraining mit Laufzeiten von 36 bis 60 Monaten mieten
Trainingscluster werden als ganze Server für 36, 48 oder 60 Monate zu einem festen Monatspreis gemietet, und längere Laufzeiten bedeuten niedrigere Preise.
Angebot anfordern
Nennen Sie uns die Modellgröße, die Anzahl der Server, die Laufzeit, den Standort und wann Sie die Server brauchen.
Angebot
Wir senden Ihnen ein schriftliches Angebot auf Basis unserer Lieferspezifikation, in dem jede gewünschte Änderung als nummerierte Abweichung aufgeführt ist.
Onboarding und Vertrag
Das Unternehmen, das die Server nutzen wird, füllt unsere drei Onboarding-Formulare aus, unterzeichnet den Mietvertrag und leistet die Anzahlung.
Aufbau, Burn-in und Übergabe
Wir bauen den Cluster in Toronto auf und führen dort das Burn-in durch, oder in Delaware, sobald dieser Standort in Betrieb genommen ist, und übergeben ihn dann mit dem Abnahmebericht, einem gemeinsamen Slack-Kanal und einem festen technischen Ansprechpartner für Ihren Account.
Der Restbetrag wird über die Laufzeit monatlich abgerechnet, ohne Egress-Gebühren, und für größere Kontingente kann eine Bankgarantie oder ein Akkreditiv nötig sein. Wenn wir die Plattformebene betreiben sollen, installieren und betreiben wir Managed Kubernetes mit dem NVIDIA GPU Operator und dem Network Operator oder Managed Slurm. Unser Beitrag zu dauerhaftem Training auf dedizierten B300-Servern zeigt, wie KI-Labore eine Trainingskampagne um eine feste Laufzeit herum planen.
Was Kunden fragen
Was ist der kleinste Trainingscluster, den Sie vermieten?
Wir vermieten ganze Server, die kleinste Einheit ist also ein HGX B300-Server mit 8 GPUs und einer Laufzeit von 36 Monaten. Unsere Referenzcluster umfassen 64, 128 und 288 Knoten an einer dedizierten Fabric, und größere Cluster folgen demselben Design.
Können wir den Cluster vor der Unterzeichnung testen?
Wir bieten keine Testphasen oder Proofs of Concept an. Jeder Cluster besteht vor der Übergabe die Hardware-Validierungstests HW-1 bis HW-5 von NVIDIA, und Sie erhalten die Ergebnisse in einem Abnahmebericht. Siehe Burn-in und Abnahme.
Bauen Sie Trainings-Fabrics mit InfiniBand oder Ethernet?
Unsere Lieferspezifikation bevorzugt NVIDIA Spectrum-X oder Broadcom Tomahawk 6 und akzeptiert NVIDIA Quantum InfiniBand oder Tomahawk 5. In beiden Fällen ist die Fabric Rail-optimiert, vollständig nicht blockierend, hat 800 Gbit/s pro GPU und ist Ihnen dediziert zugeordnet.
Welchen Storage sollten wir für Checkpoints wählen?
Option A ist eine Appliance von VAST Data, WEKA oder DDN mit mindestens 1 TB nutzbarer Kapazität pro GPU und 24/7-Eskalation an den Hersteller. Option B sind Storage-Knoten mit mindestens 3 TB Rohkapazität pro GPU für Storage-Software, die Sie selbst betreiben.
Was passiert, wenn eine GPU während eines Laufs ausfällt?
Bei fatalen Fehlern wie XID 79 oder Double-Bit-ECC-Fehlern wird der Knoten sofort unter Quarantäne gestellt, und wir reparieren oder ersetzen ihn, bevor er wieder in Ihren Cluster aufgenommen wird. Innerhalb von 15 Minuten wird ein Incident Commander benannt.
Bieten Sie Laufzeiten von einem oder zwei Jahren für Trainingscluster an?
Nein. GPU-Server werden für 36, 48 oder 60 Monate gemietet, und längere Laufzeiten bedeuten niedrigere Preise.
Planen Sie Ihren nächsten Trainingscluster
Nennen Sie uns das Modell, die Clustergröße, die Laufzeit und den Standort, und wir antworten mit einem schriftlichen Angebot auf Basis unserer Lieferspezifikation.