Dedizierte NVIDIA-GPU-Server

Wir vermieten dedizierte GPU-Server komplett und mit langen Laufzeiten, und jeden Preis erhalten Sie in einem schriftlichen Angebot, bevor Sie unterschreiben.

Bare Metal vs. geteilte GPU-Infrastruktur erklärt, was dedizierte Hardware im Produktivbetrieb verändert.

Der Katalog gliedert sich in vier Gruppen, je nachdem, wofür die Hardware gebaut ist: Training, Rack-Scale-Systeme, Inferenz sowie Grafik und Medien.

Server mit A100 80GB SXM, acht GPUs auf einem HGX-Board, sind ebenfalls auf Anfrage erhältlich.

Training: HGX B300 und HGX B200

HGX B300 ist unsere Hauptproduktlinie: acht Blackwell Ultra-GPUs mit je 270 GB HBM3e, 2,1 TB pro Server, verbunden über NVLink der fünften Generation mit 1,8 TB/s pro GPU. Unsere GPU-Referenzcluster sind daraus aufgebaut, auf einer Fabric mit 800 Gbit/s pro GPU. HGX B200 bietet 180 GB HBM3e pro GPU, 1.440 GB pro Server, und behält deutlich mehr Rechenleistung bei doppelter Genauigkeit: NVIDIA gibt 296 TFLOPS FP64 pro 8-GPU-Board an, gegenüber 10 TFLOPS bei HGX B300. Wählen Sie B200, wenn Simulationen oder andere FP64-Workloads den Cluster mit KI teilen. 8 x 270 GB: was auf einen B300-Knoten passt rechnet 405B- und 70B-Modelle durch.

Nach Reservierung: GB300 NVL72 und Vera Rubin

GB300 NVL72 ist ein flüssigkeitsgekühltes Rack mit 72 Blackwell Ultra-GPUs und 36 Grace-CPUs in einer NVLink-Domäne, mit 20 TB HBM3e und einer NVLink-Gesamtbandbreite von 130 TB/s, nach Angaben von NVIDIA. Vera Rubin ist die nächste NVIDIA-Plattform, mit 288 GB HBM4 pro Rubin-GPU, und wir haben Rubin-Server bestellt. Beide sind nach Reservierung erhältlich. Unsere Anforderungen an Rechenzentren umfassen einen Ausbaupfad zur Direct-to-Chip-Flüssigkeitskühlung für GB300 NVL72 und spätere Systeme.

Inferenz: RTX PRO 6000 Blackwell und L40S

Server mit RTX PRO 6000 Blackwell haben acht GPUs mit je 96 GB GDDR7, 768 GB pro Server, und werden aus Montreal bereitgestellt. Server mit L40S haben acht GPUs mit je 48 GB GDDR6. Keine der beiden Karten hat NVLink, daher tauschen die GPUs Daten über PCIe aus: Diese Server eignen sich für Modelle, bei denen jedes Replikat auf eine GPU oder wenige GPUs passt, etwa ein 70B-Modell in FP8 auf einer einzigen Karte mit 96 GB. 8 x 96 GB: was auf einen RTX PRO 6000 Blackwell-Knoten passt rechnet den Speicherbedarf durch.

Grafik und Medien: GeForce- und RTX-Workstation-Karten

Server mit RTX 5090 (32 GB), RTX 4090 (24 GB) und RTX A6000 (48 GB) haben acht GPUs, Server mit RTX 4000 Ada (20 GB) und RTX A4000 (16 GB) haben vier.

Jeder Server trägt eine von drei Statusangaben, die zeigen, wo seine Hardware heute steht.

Vier Fragen grenzen die Auswahl ein: wie viel Speicher jede GPU braucht, wie die GPUs miteinander kommunizieren, über wie viele Server sich der Job erstreckt und um welchen Workload es sich handelt.

Speicher pro GPU

Der Speicher entscheidet, was passt. Die Gewichte sowie der KV-Cache bei Inferenz oder der Optimizer-Zustand und die Aktivierungen beim Training müssen im GPU-Speicher liegen, und ein Modell mit 70B Parametern in FP8 benötigt allein für seine Gewichte etwa 70 GB. 70 GB Gewichte, vier GPUs zeigt, was jede Speichergröße für den KV-Cache übrig lässt.

Interconnect

Wird ein Modell auf mehrere GPUs aufgeteilt, bestimmt die Bandbreite zwischen den GPUs das Tempo. HGX B300- und B200-Server bieten jeder GPU 1,8 TB/s über NVLink, und GB300 NVL72 verbindet 72 GPUs in einer NVLink-Domäne, während PCIe-Server auf den PCIe-Bus angewiesen sind: 64 GB/s bei der L40S. Zwischen Servern nutzen HGX B300-Cluster eine Rail-optimierte, vollständig nicht blockierende Fabric mit 800 Gbit/s pro GPU.

Clustergröße

Über einen Server hinaus umfassen unsere Referenzcluster 64, 128 oder 288 HGX B300-Knoten, bis zu 2.304 GPUs auf einer dedizierten Fabric, und das Design reicht darüber hinaus. Siehe GPU-Cluster und die Lieferspezifikation.

Workload