NVIDIA A100 80GB
Acht A100 80GB SXM-GPUs auf einem HGX A100-Board, verbunden über NVLink und NVSwitch, mit 640 GB HBM2e pro Server, für Teams, deren Code für Training, Inferenz und FP64 auf Ampere aufbaut.
- GPUs pro Server
- 8
- Speicher pro GPU
- 80 GB HBM2e
- Speicherbandbreite
- 2.039 GB/s
- NVLink pro GPU
- 600 GB/s
Technische Daten
| GPU | |
|---|---|
| GPU | NVIDIA A100 80GB, Formfaktor SXM |
| Architektur | NVIDIA Ampere |
| Speicher | 80 GB HBM2e |
| Speicherbandbreite | 2.039 GB/s |
| FP64 | 9,7 TFLOPS |
| FP64 Tensor Core | 19,5 TFLOPS |
| FP32 | 19,5 TFLOPS |
| TF32 Tensor Core | 156 TFLOPS ohne Sparsity, 312 TFLOPS mit Sparsity |
| BF16 Tensor Core | 312 TFLOPS ohne Sparsity, 624 TFLOPS mit Sparsity |
| FP16 Tensor Core | 312 TFLOPS ohne Sparsity, 624 TFLOPS mit Sparsity |
| INT8 Tensor Core | 624 TOPS ohne Sparsity, 1.248 TOPS mit Sparsity |
| Multi-Instance GPU | Bis zu 7 Instanzen mit je 10 GB |
| Interconnect | NVLink 600 GB/s; PCIe Gen4 64 GB/s |
| Max. TDP | 400 W (Standardkonfiguration) |
| Server im Lieferzustand | |
|---|---|
| Plattform | NVIDIA HGX A100, 8 GPUs |
| GPU-Speicher pro Server | 640 GB (8 x 80 GB) |
| GPU zu GPU | NVSwitch der zweiten Generation, NVLink der dritten Generation, 600 GB/s pro GPU, 4,8 TB/s gesamt |
| FP64, 8 GPUs | 156 TFLOPS |
| CPU, Arbeitsspeicher und Storage | Nach Ihren Anforderungen konfiguriert und in Ihrem Angebot bestätigt |
| Netzwerk | |
|---|---|
| Backend- und Frontend-Netzwerk | Nach Ihren Anforderungen konfiguriert und in Ihrem Angebot bestätigt |
Typische Workloads
- Training und Fine-Tuning mit Code, der für Ampere entwickelt wurde
- Inferenz mit MIG-Partitionen
- Wissenschaftliches Rechnen und Simulation mit FP64
Mieten Sie dedizierte NVIDIA HGX A100-Server mit acht A100 80GB SXM-GPUs, verbunden über NVLink und NVSwitch. A100-Server sind auf Anfrage erhältlich, nach Ihren Anforderungen konfiguriert, mit Verträgen über 36, 48 oder 60 Monate.
Für wen sich die A100 80GB eignet
Die A100 80GB richtet sich an Teams, deren Code für Training und Inferenz auf der Ampere-Architektur entwickelt und validiert ist und die acht über NVLink verbundene GPUs mit je 80 GB wollen. Wer bei A100 bleibt, muss Kernels, Numerik und Pipelines nicht mitten in einem laufenden Projekt auf einer neuen Architektur erneut validieren.
Sie eignet sich auch für Berechnungen mit doppelter Genauigkeit. NVIDIA gibt den FP64-Durchsatz der Tensor-Kerne mit 19,5 TFLOPS pro GPU an und das HGX A100-Board mit 8 GPUs mit 156 TFLOPS FP64.
Stärken
NVLink und NVSwitch
Auf dem HGX A100-Board bietet NVSwitch der zweiten Generation jeder GPU 600 GB/s Bandbreite über NVLink der dritten Generation, insgesamt 4,8 TB/s.
80 GB HBM2e
80 GB pro GPU mit 2.039 GB/s, von NVIDIA als über 2 TB/s angegeben, und 640 GB pro Server.
Formate der Tensor-Kerne
Pro GPU ohne Sparsity 156 TFLOPS TF32, 312 TFLOPS BF16 oder FP16 und 624 TOPS INT8, mit Sparsity jeweils das Doppelte.
Multi-Instance GPU
Jede GPU lässt sich in bis zu sieben Instanzen mit je 10 GB aufteilen, für Inferenz- und Entwicklungsarbeiten, die keine ganze GPU brauchen.
Die Spezifikationen von NVIDIA für die A100 nennen Unterstützung der Tensor-Kerne für TF32, BF16, FP16 und INT8 sowie für FP64; FP8 und FP4 gehören nicht dazu. Jede GPU hat in der Standardkonfiguration eine TDP von 400 W, und NVIDIA weist darauf hin, dass die angepasste Kühllösung (Custom Thermal Solution) des HGX A100 80GB bis zu 500 W unterstützt.
Konfiguration im Lieferzustand
A100-Server sind um das HGX A100-Board von NVIDIA mit 8 GPUs aufgebaut. Alles andere, von CPU, Arbeitsspeicher und lokalem NVMe-Speicher bis zum Netzwerk, wird nach Ihren Anforderungen konfiguriert und in Ihrem Angebot bestätigt.
Jeder Server durchläuft vor der Übergabe ein Burn-in, die Ergebnisse stehen in einem Abnahmebericht. Wenn Sie A100-Server als Gruppe nutzen möchten, teilen Sie uns das in Ihrer Anfrage mit, damit das Angebot das Netzwerk zwischen ihnen abdeckt. Auf unserer Seite GPU-Cluster lesen Sie, wie wir dedizierte Fabrics aufbauen.
So funktioniert die Miete
A100 80GB-Server sind auf Anfrage erhältlich. Teilen Sie uns mit, wie viele Server Sie benötigen, für wie lange und ab wann, und wir bestätigen Konfiguration und Lieferplan in einem schriftlichen Angebot.
Verträge laufen 36, 48 oder 60 Monate, mit niedrigeren Preisen für längere Laufzeiten. Das Unternehmen, das die Server nutzen wird, füllt vor der Unterzeichnung drei Onboarding-Formulare aus. Sie leisten bei Unterzeichnung eine Anzahlung und zahlen danach für die gesamte Laufzeit einen festen Monatspreis, ohne Egress-Gebühren. Wir bieten keine Testphasen an; an ihre Stelle treten das Burn-in und der Abnahmebericht, wie unsere Seiten Burn-in und Abnahme und So mieten Sie erklären.
Workloads und Alternativen
Die A100 80GB eignet sich für Training und Fine-Tuning, die mit 80 GB pro GPU und 640 GB pro Server auskommen, für Inferenz in MIG-Instanzen und für FP64-Simulationen. Unsere Seite KI-Training behandelt Checkpoint-Storage und Fehlerbehandlung bei langen Läufen.
Vollständiges Training in Mixed Precision mit dem Adam-Optimizer benötigt etwa 16 bis 20 Byte pro Parameter, noch ohne Aktivierungen. Ein Server mit 640 GB fasst daher den Trainingszustand eines Modells mit rund 32B bis 40B Parametern; größere Modelle werden über mehrere Server verteilt, sodass das Netzwerk zwischen ihnen Teil Ihres Angebots wird.
Zur Dimensionierung zeigt 70 GB Gewichte, vier GPUs, wie wenig eine GPU mit 80 GB für den KV-Cache übrig lässt, sobald 70 GB Gewichte geladen sind, und Engpässe beim Training von Foundation Models erklärt, warum Speicherbandbreite und NVLink den Trainingsdurchsatz bestimmen.
Für neue Projekte bietet der HGX B200 180 GB pro GPU, FP8 und FP4 sowie 37 TFLOPS FP64 pro GPU, der HGX B300 270 GB pro GPU.
Was Kunden fragen
Warum A100 mieten, wenn Blackwell verfügbar ist?
Unterstützt die A100 FP8 oder FP4?
Nein. Die Spezifikationen von NVIDIA für die A100 nennen Unterstützung der Tensor-Kerne für TF32, BF16, FP16 und INT8 sowie für FP64. FP8 und FP4 gibt es bei späteren Architekturen wie Blackwell.
Wie sind die acht GPUs verbunden?
Über NVIDIA NVSwitch auf dem HGX A100-Board. Jede GPU hat nach Angaben von NVIDIA 600 GB/s Bandbreite über NVLink der dritten Generation zu den anderen GPUs, insgesamt 4,8 TB/s.
Können sich mehrere Workloads eine A100 teilen?
Ja. Multi-Instance GPU teilt jede A100 80GB in bis zu sieben Instanzen mit je 10 GB auf, sodass kleine Inferenz- oder Entwicklungsjobs keine ganze GPU benötigen.
Welche Vertragslaufzeiten gibt es?
36, 48 oder 60 Monate, mit niedrigeren Preisen für längere Laufzeiten. Sie leisten bei Unterzeichnung eine Anzahlung und zahlen danach für die gesamte Laufzeit einen festen Monatspreis, ohne Egress-Gebühren.
Mieten Sie A100 80GB-Server mit Laufzeiten von 36 bis 60 Monaten.
Nennen Sie uns die Hardware, die Anzahl der Server, die Laufzeit und das Startdatum. Sie erhalten ein schriftliches Angebot auf Grundlage unserer Lieferspezifikation.