NVIDIA A100 80GB
Huit GPU A100 80GB SXM sur une carte HGX A100, reliés par NVLink et NVSwitch, avec 640 Go de HBM2e par serveur, pour les équipes dont le code d'entraînement, d'inférence et FP64 repose sur Ampere.
- GPU par serveur
- 8
- Mémoire par GPU
- 80 Go HBM2e
- Bande passante mémoire
- 2 039 Go/s
- NVLink par GPU
- 600 Go/s
Caractéristiques techniques
| GPU | |
|---|---|
| GPU | NVIDIA A100 80GB, format SXM |
| Architecture | NVIDIA Ampere |
| Mémoire | 80 Go HBM2e |
| Bande passante mémoire | 2 039 Go/s |
| FP64 | 9,7 TFLOPS |
| Cœurs Tensor FP64 | 19,5 TFLOPS |
| FP32 | 19,5 TFLOPS |
| Cœurs Tensor TF32 | 156 TFLOPS en dense, 312 TFLOPS avec parcimonie |
| Cœurs Tensor BF16 | 312 TFLOPS en dense, 624 TFLOPS avec parcimonie |
| Cœurs Tensor FP16 | 312 TFLOPS en dense, 624 TFLOPS avec parcimonie |
| Cœurs Tensor INT8 | 624 TOPS en dense, 1 248 TOPS avec parcimonie |
| GPU multi-instance | Jusqu'à 7 instances de 10 Go |
| Interconnexion | NVLink 600 Go/s ; PCIe Gen4 64 Go/s |
| TDP maximal | 400 W (configuration standard) |
| Serveur tel que livré | |
|---|---|
| Plateforme | NVIDIA HGX A100, 8 GPU |
| Mémoire GPU par serveur | 640 Go (8 x 80 Go) |
| Entre GPU | NVSwitch de deuxième génération, NVLink de troisième génération, 600 Go/s par GPU, 4,8 To/s au total |
| FP64, 8 GPU | 156 TFLOPS |
| CPU, mémoire système et stockage | Configuration selon vos exigences, confirmée dans votre proposition |
| Réseau | |
|---|---|
| Réseau dorsal et réseau frontal | Configuration selon vos exigences, confirmée dans votre proposition |
Charges de travail types
- Entraînement et réglage fin sur du code conçu pour Ampere
- Inférence avec des partitions MIG
- Calcul scientifique et simulation en FP64
Louez des serveurs NVIDIA HGX A100 dédiés équipés de huit GPU A100 80GB SXM, reliés par NVLink et NVSwitch. Les serveurs A100 sont disponibles sur demande, configurés selon vos exigences, avec un contrat de 36, 48 ou 60 mois.
À qui s'adresse l'A100 80GB
L'A100 80GB s'adresse aux équipes dont le code d'entraînement et d'inférence est conçu et validé sur l'architecture Ampere, et qui veulent huit GPU reliés par NVLink, dotés chacun de 80 Go. Rester sur A100 évite de revalider les noyaux, le comportement numérique et les pipelines sur une nouvelle architecture en plein milieu d'un programme.
Il convient aussi aux travaux en double précision. NVIDIA annonce un débit FP64 sur cœurs Tensor de 19,5 TFLOPS par GPU, et de 156 TFLOPS en FP64 pour la carte HGX A100 à 8 GPU.
Ses points forts
NVLink et NVSwitch
Sur la carte HGX A100, le NVSwitch de deuxième génération offre à chaque GPU 600 Go/s de bande passante NVLink de troisième génération, soit 4,8 To/s au total.
80 Go de HBM2e
80 Go par GPU à 2 039 Go/s, ce que NVIDIA présente comme plus de 2 To/s, et 640 Go par serveur.
Formats des cœurs Tensor
156 TFLOPS en TF32 dense, 312 TFLOPS en BF16 ou FP16 dense et 624 TOPS en INT8 dense par GPU, valeurs doublées avec la parcimonie.
GPU multi-instance
Chaque GPU peut être divisé en un maximum de sept instances de 10 Go, pour l'inférence et les travaux de développement qui n'ont pas besoin d'un GPU entier.
Les caractéristiques de l'A100 publiées par NVIDIA indiquent la prise en charge de TF32, BF16, FP16 et INT8 par les cœurs Tensor, en plus de FP64 ; FP8 et FP4 n'en font pas partie. Chaque GPU a un TDP de 400 W en configuration standard, et NVIDIA précise que la solution thermique personnalisée HGX A100 80GB prend en charge jusqu'à 500 W.
Configuration à la livraison
Les serveurs A100 sont construits autour de la carte HGX A100 à 8 GPU de NVIDIA. Tout le reste, du CPU, de la mémoire système et du NVMe local jusqu'au réseau, est configuré selon vos exigences et confirmé dans votre proposition.
Chaque serveur est soumis au déverminage avant la mise à disposition, avec les résultats dans un rapport de réception. Si vous prévoyez d'utiliser des serveurs A100 en groupe, indiquez-le dans votre demande afin que la proposition couvre le réseau qui les relie, et consultez notre page Clusters GPU pour savoir comment nous construisons des réseaux d'interconnexion dédiés.
Comment fonctionne la location
Les serveurs A100 80GB sont disponibles sur demande. Indiquez-nous combien de serveurs il vous faut, pour combien de temps et à partir de quand, et nous confirmons la configuration et le calendrier de livraison dans une proposition écrite.
Les contrats durent 36, 48 ou 60 mois, avec des tarifs plus bas pour les engagements plus longs. L'entreprise qui utilisera les serveurs remplit trois formulaires d'ouverture de compte avant de signer. Vous versez un acompte à la signature, puis payez un tarif mensuel fixe unique pendant toute la durée du contrat, sans frais de sortie de données. Nous ne proposons pas d'essais : le déverminage et le rapport de réception en tiennent lieu, comme l'expliquent nos pages Déverminage et réception et Comment acheter.
Charges de travail et alternatives
L'A100 80GB convient à l'entraînement et au réglage fin qui tiennent dans 80 Go par GPU et 640 Go par serveur, à l'inférence répartie en instances MIG et à la simulation FP64. Notre page Entraînement IA traite du stockage des points de contrôle et de la gestion des pannes pour les longs entraînements.
Un entraînement complet en précision mixte avec l'optimiseur Adam nécessite environ 16 à 20 octets par paramètre, hors activations. Un serveur de 640 Go peut donc contenir l'état d'entraînement d'un modèle d'environ 32 à 40 milliards de paramètres ; les modèles plus grands sont répartis sur plusieurs serveurs, et le réseau qui les relie fait alors partie de votre proposition.
Pour le dimensionnement, la page 70 Go de poids, quatre GPU montre le peu de place qu'un GPU de 80 Go laisse au cache KV une fois 70 Go de poids chargés, et la page Goulets d'étranglement de l'entraînement des modèles de fondation explique pourquoi la bande passante mémoire et NVLink déterminent le débit d'entraînement.
Pour les nouveaux projets, le HGX B200 apporte 180 Go par GPU, FP8 et FP4, et 37 TFLOPS en FP64 par GPU, et le HGX B300 apporte 270 Go par GPU.
Questions des acheteurs
Pourquoi louer des A100 alors que Blackwell est disponible ?
L'A100 prend-il en charge FP8 ou FP4 ?
Non. Les caractéristiques de l'A100 publiées par NVIDIA indiquent la prise en charge de TF32, BF16, FP16 et INT8 par les cœurs Tensor, en plus de FP64. FP8 et FP4 arrivent avec des architectures plus récentes comme Blackwell.
Comment les huit GPU sont-ils reliés ?
Par NVIDIA NVSwitch, sur la carte HGX A100. Chaque GPU dispose de 600 Go/s de bande passante NVLink de troisième génération vers les autres, soit 4,8 To/s au total, selon NVIDIA.
Un A100 peut-il être partagé entre plusieurs charges de travail ?
Oui. La fonction GPU multi-instance divise chaque A100 80GB en un maximum de sept instances de 10 Go, de sorte que les petites tâches d'inférence ou de développement n'ont pas besoin d'un GPU entier.
Quelles durées de contrat sont proposées ?
36, 48 ou 60 mois, avec des tarifs plus bas pour les engagements plus longs. Vous versez un acompte à la signature, puis payez un tarif mensuel fixe unique pendant toute la durée du contrat, sans frais de sortie de données.
Louez des serveurs A100 80GB avec un engagement de 36 à 60 mois.
Indiquez-nous le matériel, le nombre de serveurs, la durée d'engagement et la date de début. Vous recevez une proposition écrite fondée sur notre spécification de livraison.