Unsere Lieferspezifikation für HGX B300

Die Spezifikation legt eine Grundlage fest, und Ihr Angebot hält jede Änderung daran als nummerierte Abweichung fest. Jeder Punkt im Dokument ist entweder „Erforderlich“ oder „Bevorzugt“. Auf dieser Seite sind Mindestwerte mit „mindestens“ angegeben, und bevorzugte Optionen sind mit „bevorzugt“ gekennzeichnet.

Die Spezifikation definiert drei Referenzcluster mit 64, 128 und 288 GPU-Knoten, und jede Größe umfasst die zugehörigen CPU-Knoten, die Control Plane und den Storage.

Jede Referenzgröße hat sechs Control-Plane-Knoten, und die Spezifikation legt die Control Plane auf 6 Knoten pro 2.304 GPUs fest. Die beiden Storage-Zeilen entsprechen den beiden unten beschriebenen Storage-Optionen: nutzbare Kapazität bei einer Appliance oder eine Knotenanzahl bei Storage-Knoten.

Leistungsplanung

Die geschätzte IT-Last ergibt sich aus diesen Planungswerten:

Für die Größe mit 64 Knoten sind das 64 GPU-Knoten mit je etwa 14 kW, dazu 24 CPU-Knoten, 6 Control-Plane-Knoten, 9 Storage-Knoten und Netzwerk mit 5 Prozent der GPU-Last: etwa 0,98 MW. Aus diesen Werten planen wir die Leistung des Rechenzentrums, und die vertraglich festgelegte maximale Leistung in kW pro Rack ist die entscheidende Zahl, die wir von einem Rechenzentrum verlangen. Unsere Seite Rechenzentren listet auf, was wir darüber hinaus verlangen.

Jeder Cluster hat seine eigene Ost-West-Fabric für den Verkehr zwischen GPUs und sein eigenes Nord-Süd-Netzwerk, und am Edge erhält er redundanten Transit, DDoS-Scrubbing, NAT und dedizierte öffentliche Adressen.

Ost-West-Fabric

Rail-optimiert bedeutet, dass die GPU an jeder Position jedes Knotens mit ihrem eigenen Satz von Switches verbunden ist, ihrer Rail, was die Pfade zwischen GPUs an gleicher Position kurz hält. Vollständig nicht blockierend bedeutet, dass die Fabric die volle Bandbreite jeder GPU gleichzeitig tragen kann, ohne Überbuchung zwischen den Switch-Ebenen.

Nord-Süd-Netzwerk

Überbuchung ist das Verhältnis zwischen der Bandbreite, die ein Leaf-Switch seinen Knoten bietet, und der Bandbreite seiner Uplinks. Storage-Leaf-Switches haben keine, sodass Lesevorgänge und Checkpoint-Schreibvorgänge nicht durch die Uplinks gebremst werden, und GPU-Leaf-Switches bleiben unter 4:1. RoCEv2 überträgt RDMA über dieses Ethernet-Netzwerk, und eine MTU von 9000 (Jumbo Frames) senkt den Overhead pro Paket bei großen Übertragungen.

Edge- und Internetdienste

• Transit und Routing. Zwei unabhängige Provider auf physisch getrennten Pfaden bedeuten, dass ein durchtrenntes Kabel oder der Ausfall eines Providers kein Single Point of Failure ist. BFD erkennt einen ausgefallenen Link schnell, und eBGP schaltet innerhalb einer Minute auf den anderen Provider um.
• Edge-Router. Zwei redundante Router an A- und B-Stromversorgung, damit das Edge nicht von einem Router oder einer Stromzuleitung abhängt.
• Edge-ACLs. Die Access Control Lists am Edge folgen Ihren Regeln, und wir setzen Änderungen innerhalb eines Geschäftstags um.
• DDoS-Schutz. Volumetrische Angriffe auf Layer 3 und 4 werden über BGP zu einem etablierten Scrubbing-Anbieter umgeleitet. Das Scrubbing wird innerhalb von 5 Minuten aktiviert, mit einer Kapazität von mindestens 1 Tbit/s.
• NAT und Egress. Ausgehender Verkehr verlässt das Netzwerk über ein redundantes Paar, das mindestens 10 Millionen gleichzeitige Sessions hält, von SNAT-Adressen, die nur Sie nutzen, sodass Partner Ihren Verkehr auf eine Allowlist setzen können.
• Öffentliche Service-Adressen. Typischerweise acht dedizierte Adressen für Ihre Dienste. Sie können virtuelle IPs über BGP ankündigen, ein Failover erfolgt innerhalb von 5 Sekunden, und IPv6 läuft als Dual Stack.
• Ihr IP-Adressraum und Ihre ASN. Wenn Sie eigene Präfixe und eine eigene ASN haben, kann das Edge sie ankündigen. Wir beachten Ihre RPKI Route Origin Authorizations (ROAs), die anderen Netzwerken mitteilen, welche ASN Ihre Präfixe als Ursprung ankündigen darf, und BGP-Sessions werden authentifiziert.
• Netzwerktelemetrie. Beide Edge-Router senden Flow-Daten per NetFlow v9 oder IPFIX an Ihren Collector, sodass Sie Ihren eigenen Verkehr sehen.

Die Spezifikation regelt auch, was rund um die Übergabe geschieht: ein Burn-in davor und schriftliche Betriebszusagen danach.

Vor der Übergabe besteht jeder Cluster die Hardware-Validierung von NVIDIA für Inferenzanbieter, die Tests HW-1 bis HW-5, und die Ergebnisse erhalten Sie in einem Abnahmebericht. Unsere Seite Burn-in und Abnahme erklärt, was jeder Test nachweist.

Nach der Übergabe legt Abschnitt 15 der Spezifikation fest, wie wir den Cluster betreiben, beginnend mit diesen Zusagen:

Die vollständige Liste, einschließlich Inventar, Change-Management und Umgang mit Hardwarefehlern, steht auf unserer Seite Betriebszusagen. Out-of-Band-Hardwaretelemetrie kommt vom BMC über Redfish, ergänzt um Netzwerk- und Rechenzentrumstelemetrie, wo verfügbar. Betriebstelemetrie wird mindestens 30 Tage aufbewahrt, die Historie von Störungen und Zuständen mindestens 12 Monate.

Die Datenblätter sind als PDF-Dateien verfügbar, damit Ihre Techniker und Ihr Einkauf sie prüfen und weitergeben können.

• Datenblatt für NVIDIA HGX B300-ServerPDF. GPU-Knoten, CPU- und Control-Plane-Knoten, Netzwerkschnittstellen. PDF herunterladen
• HGX B300-Referenzcluster: 64, 128 und 288 KnotenPDF. Clustergrößen, Storage, Fabric und Edge-Netzwerk. PDF herunterladen
• Anforderungen an Rechenzentrumspartner, ZusammenfassungPDF. Stromversorgung, Kühlung, Nachweise zu Zertifizierungen, Personal und Konnektivität. PDF herunterladen
• So funktionieren Verträge mit 1LegionPDF. Konditionen, Onboarding, Abrechnung und Leistungsumfang. PDF herunterladen

Alle Dokumente, die wir veröffentlichen, finden Sie auf unserer Seite Downloads. Um eine Konfiguration auf Basis dieser Spezifikation zu besprechen, sprechen Sie mit unserem Technikteam.