Burn-in und Abnahme
Jeder Cluster besteht die Hardware-Validierungstests HW-1 bis HW-5 von NVIDIA, bevor wir ihn übergeben. Sie erhalten die Ergebnisse in einem Abnahmebericht.
Mit GPU-Burn-in-Tests prüfen wir einen Cluster unter Last, bevor Sie etwas darauf ausführen. Jeder 1Legion-Cluster besteht vor der Übergabe die Hardware-Validierung von NVIDIA für Inferenzanbieter, die Tests HW-1 bis HW-5, und die Ergebnisse erhalten Sie in einem Abnahmebericht. Das ersetzt eine Testphase: Sie bekommen Nachweise von genau der Hardware, die Sie später nutzen.
Die fünf Burn-in-Tests
Das Burn-in besteht aus fünf Tests, die jeweils einen anderen Teil des Clusters prüfen, und wir übergeben einen Cluster erst, wenn er alle fünf besteht.
- HW-1
Kollektiver Durchsatz
NCCL-Durchsatz auf Baseline-Niveau mit nccl-tests, mit SHARP-beschleunigten kollektiven Operationen, wo die Fabric sie unterstützt.
nccl-tests - HW-2
Jede Netzwerk-Rail
Jede InfiniBand- oder RoCE-Rail, getestet mit ib_write_bw.
ib_write_bw - HW-3
GPUDirect und Storage
Smoke-Tests für GPUDirect RDMA und Storage, einschließlich NVMe-Lesen und -Schreiben.
GPUDirect RDMA, NVMe - HW-4
NVLink und NVSwitch
Anzahl und Bandbreite der NVLink- und NVSwitch-Links, geprüft mit nvbandwidth.
nvbandwidth - HW-5
24-Stunden-Dauertest
Ein 24-Stunden-Dauertest unter repräsentativer Inferenzlast bei konstanter Leistungsbegrenzung.
Inferenzlast bei Leistungsbegrenzung
Zusammen decken sie die Pfade ab, von denen ein verteilter Workload abhängt: zwischen GPUs innerhalb eines Servers (HW-4), zwischen Servern über die Fabric (HW-1 und HW-2), den Netzwerkpfad in den GPU-Speicher und den Storage-Pfad (HW-3) sowie den ganzen Cluster unter Dauerlast (HW-5). Die Tests sind Teil von Abschnitt 15 unserer Lieferspezifikation.
Was jeder Test nachweist
Jeder Test prüft einen Teil der Hardware, und ein bestandener Test sagt Ihnen etwas Konkretes über den Cluster, den Sie nutzen werden.
HW-1: NCCL-Durchsatz
NCCL, die NVIDIA Collective Communications Library, ist die Software, mit der GPUs bei verteiltem Training und verteilter Inferenz Daten austauschen, etwa in Operationen wie All-Reduce. HW-1 führt nccl-tests, den Benchmark von NVIDIA für NCCL, über den ganzen Cluster aus, mit SHARP, wo die Switches es unterstützen. SHARP erledigt einen Teil jeder Reduktion in den Switches selbst, sodass weniger Daten über das Netzwerk laufen müssen.
Ein bestandener Test zeigt, dass GPUs in verschiedenen Servern Daten mit dem Durchsatz austauschen, den der Test verlangt. Reicht der kollektive Durchsatz nicht aus, wartet jeder Schritt eines verteilten Jobs auf das Netzwerk.
HW-2: jede Fabric-Rail
In einer Rail-optimierten Fabric ist eine Rail die Gesamtheit der Links, die die GPUs an derselben Position in jedem Server mit ihren eigenen Switches verbinden. HW-2 führt auf jeder InfiniBand- oder RoCE-Rail im Cluster ib_write_bw aus, das die RDMA-Schreibbandbreite zwischen zwei Ports misst.
Ein bestandener Test zeigt, dass jede einzelne Rail ihre Leistung bringt, nicht nur die Fabric im Durchschnitt. Das ist wichtig, weil eine kollektive Operation so schnell läuft wie ihr langsamster Link: Ein schwaches Kabel, ein schwacher Transceiver oder Port kann jede GPU eines Jobs ausbremsen.
HW-3: GPUDirect RDMA und Storage
Mit GPUDirect RDMA liest und schreibt eine Netzwerkkarte direkt im GPU-Speicher, ohne Daten über CPU und Arbeitsspeicher zu kopieren. HW-3 führt Smoke-Tests aus, also kurze Prüfungen, ob ein Pfad durchgängig funktioniert, für GPUDirect RDMA und für Storage, einschließlich NVMe-Lesen und -Schreiben.
Ein bestandener Test zeigt, dass Daten die GPUs über den direkten Pfad erreichen, für den der Cluster ausgelegt ist, und dass der Storage-Pfad liest und schreibt. Ohne GPUDirect RDMA weicht der Verkehr auf einen langsameren Weg über den Host-Speicher aus, und Jobs laufen weiter, nur langsamer. Deshalb wird dieser Pfad eigens getestet.
HW-4: NVLink und NVSwitch
In jedem HGX-Server sind die acht GPUs über NVLink und NVSwitch miteinander verbunden, ein viel schnellerer Pfad als das Netzwerk zwischen den Servern. HW-4 misst mit nvbandwidth, einem Tool von NVIDIA, die Bandbreite dieser Links und prüft die Anzahl der Links: dass jeder Link aktiv ist, der aktiv sein sollte.
Ein bestandener Test zeigt, dass bei jeder GPU alle NVLink-Links aktiv sind und die Bandbreite liefern, die der Test erwartet. Ein fehlender Link legt einen Server nicht lahm, er macht ihn langsamer. Deshalb wird die Anzahl geprüft.
HW-5: 24-Stunden-Dauertest
HW-5 lässt 24 Stunden lang eine repräsentative Inferenzlast auf dem Cluster laufen, bei konstanter Leistungsbegrenzung, also einem festen Leistungslimit für die gesamte Testdauer. Fehler, die ein kurzer Test übersieht, etwa hitzebedingte Fehler, Probleme mit der Stromversorgung und sporadische Ausfälle, zeigen sich meist erst nach Stunden gleichmäßiger Last.
Ein bestandener Test zeigt, dass die Hardware einen ganzen Tag unter gleichmäßiger, repräsentativer Last stabil bleibt.
Der Abnahmebericht
Die Ergebnisse des Burn-ins erhalten Sie in einem Abnahmebericht. So haben Sie die Nachweise in der Hand, wenn der Cluster an Sie übergeben wird.
Der Bericht hält die Ergebnisse von HW-1 bis HW-5 für Ihren Cluster fest. Bewahren Sie ihn als Ihre Baseline auf. Die Tools sind öffentlich (nccl-tests, ib_write_bw und nvbandwidth). Vermuten Sie später ein Problem, können Ihre Techniker dieselben Tests ausführen und vergleichen.
Die Hardware selbst ist in unserem maßgeblichen Inventar erfasst: jedes Rack, jeder Knoten, jede GPU, jede NIC, jedes Laufwerk, jeder Switch, Port und Transceiver und jedes Kabel, mit einem maschinenlesbaren Export für Sie. Nach der Übergabe läuft der Cluster nach unseren schriftlichen Betriebszusagen.
Wenn ein Knoten durchfällt
Ein Knoten, der einen Test nicht besteht, geht nicht in Betrieb: Er wird in Quarantäne genommen, repariert oder ersetzt und erneut getestet.
Quarantäne
Der Knoten wird aus dem Cluster genommen, damit er die anderen Knoten und die Ergebnisse nicht beeinflussen kann.
Reparieren oder ersetzen
Wir finden und beheben den Fehler oder ersetzen das defekte Teil oder den ganzen Knoten.
Erneuter Test
Der reparierte Knoten oder der Ersatzknoten wird erneut getestet, und der Cluster wird übergeben, sobald er besteht.
Dieselbe Disziplin gilt nach der Übergabe. Knoten mit fatalen GPU-Fehlern (XID 79, XID 48, Double-Bit-ECC-Fehler und Fehler beim Row Remapping) nehmen wir sofort in Quarantäne, und jeden Knoten mit Verdacht auf stille Datenkorruption halten wir in Quarantäne.
Warum das Burn-in eine Testphase ersetzt
Wir bieten keine Testphasen, Demos, Proofs of Concept oder Kurzzeitmieten an. Stattdessen bieten wir Nachweise von genau der Hardware, die Sie später nutzen.
Eine Testphase zeigt, wie sich ein einzelner Server kurze Zeit verhält, und meist ist es nicht der Server, den Sie am Ende bekommen. Unsere Verträge laufen 36, 48 oder 60 Monate für ganze Server. Entscheidend ist also, wie der Cluster arbeitet, den Sie erhalten. Das Burn-in testet genau das auf Ihrer eigenen Hardware, und der Abnahmebericht hält die Ergebnisse schriftlich fest.
Bevor Sie unterschreiben, zeigt Ihnen die Lieferspezifikation, was Sie mieten, und unser Technikteam beantwortet Ihre Fragen dazu. Unsere Seite So mieten Sie beschreibt die Vertragsschritte von der Anfrage bis zur Übergabe.
Was Kunden fragen
Was ist ein GPU-Burn-in-Test?
Neue GPU-Server laufen unter Dauerlast, bevor sie in Betrieb gehen, damit sich Hardwarefehler zeigen, bevor Ihre Workloads darauf laufen. Unser Burn-in ist die Hardware-Validierung von NVIDIA für Inferenzanbieter, die Tests HW-1 bis HW-5.
Können wir zuerst eine Testphase oder einen Proof of Concept durchführen?
Nein. Wir bieten keine Testphasen, Demos, Proofs of Concept oder Kurzzeitmieten an. Jeder Cluster besteht vor der Übergabe HW-1 bis HW-5, und Sie erhalten die Ergebnisse in einem Abnahmebericht.
Was ist ein NCCL-Test?
Ein Lauf von nccl-tests, dem Benchmark von NVIDIA für die NCCL-Bibliothek. Er misst, wie schnell GPUs in kollektiven Operationen wie All-Reduce Daten austauschen. Es ist Test HW-1 unseres Burn-ins.
Welche Tools verwenden die Tests?
nccl-tests mit SHARP, wo unterstützt (HW-1), ib_write_bw auf jeder InfiniBand- oder RoCE-Rail (HW-2), Smoke-Tests für GPUDirect RDMA und Storage einschließlich NVMe-Lesen und -Schreiben (HW-3), nvbandwidth für NVLink und NVSwitch (HW-4) und einen 24-Stunden-Dauertest unter repräsentativer Inferenzlast (HW-5).
Was passiert, wenn ein Knoten einen Test nicht besteht?
Der Knoten wird in Quarantäne genommen, repariert oder ersetzt und erneut getestet. Wir übergeben den Cluster, sobald er besteht.
Sagen Sie uns, was Sie betreiben möchten.
Nennen Sie uns die Hardware, die Anzahl der Server, die Laufzeit und das Startdatum. Sie erhalten ein schriftliches Angebot auf Grundlage unserer Lieferspezifikation.