Clusters GPU pour l'entraînement IA
Des clusters NVIDIA HGX B300 dédiés avec 270 Go de HBM3e et 800 Gbit/s de réseau d'interconnexion par GPU, construits selon une spécification publiée et soumis au déverminage avant votre première étape d'entraînement.
Un cluster GPU 1Legion pour l'entraînement IA est un ensemble de serveurs NVIDIA HGX B300 complets reliés par un réseau d'interconnexion est-ouest qui ne transporte que votre trafic, loué à un seul client pour 36, 48 ou 60 mois. Nous construisons chaque cluster selon notre spécification de livraison publiée et le soumettons au déverminage avant la mise à disposition : la première étape d'un entraînement de plusieurs semaines démarre ainsi sur des nœuds qui ont déjà réussi un test d'endurance de 24 heures.
Ce qu'une infrastructure d'entraînement LLM doit tenir dans la durée
Un entraînement qui dure des semaines a besoin de mémoire pour l'état de son optimiseur, d'un réseau d'interconnexion sans lien lent, d'un stockage rapide pour les points de contrôle et d'un environnement qui ne change pas en cours de route.
De la mémoire pour l'état de l'optimiseur
L'entraînement en précision mixte avec l'optimiseur Adam occupe environ 16 octets par paramètre pour les poids, les gradients et l'état de l'optimiseur. Pour un modèle de 70 milliards de paramètres, cela représente environ 1,1 To avant les activations, ce qui tient dans les 2,1 To de HBM3e d'un seul serveur HGX B300.
Un réseau d'interconnexion sans lien lent
L'entraînement partitionné et à parallélisme de données synchronise les gradients entre tous les GPU à chaque étape : un seul lien congestionné ralentit donc tout le cluster. Nos réseaux d'interconnexion HGX B300 sont entièrement non bloquants, à 800 Gbit/s par GPU.
Débit des points de contrôle
Un point de contrôle avec les poids maîtres en FP32 et l'état d'Adam pour un modèle de 70 milliards de paramètres pèse environ 840 Go, et une sauvegarde synchrone bloque chaque GPU jusqu'à ce que le point de contrôle soit écrit. Le stockage est dimensionné par GPU, et les points de contrôle sortent du cluster sans frais de sortie de données.
Un environnement qui ne bouge pas
Aucun autre locataire ne partage vos serveurs ni votre réseau d'interconnexion. Les changements de notre côté suivent une gestion des changements écrite, avec un préavis d'au moins 7 jours pour toute maintenance à risque élevé.
Notre article sur les goulets d'étranglement de l'entraînement explique pourquoi la mémoire et l'interconnexion, et non le nombre de GPU, déterminent le débit d'entraînement.
Quels serveurs pour les charges d'entraînement
Le HGX B300 est notre principale plateforme d'entraînement et le HGX B200 a aussi des allocations ouvertes, tandis que les GB300 NVL72 et Vera Rubin sont disponibles sur réservation.
- Mémoire par GPU
- 270 Go HBM3e
- GPU par serveur
- 8
- Mémoire par GPU
- 180 Go HBM3e
- GPU par serveur
- 8
- Mémoire par GPU
- 279 Go HBM3e
- GPU par baie
- 72
- Mémoire par GPU
- 288 Go HBM4
- GPU par serveur
- 8
| Serveur à 8 GPU | HGX B300 | HGX B200 |
|---|---|---|
| Mémoire GPU par serveur | 2,1 To de HBM3e | 1 440 Go de HBM3e |
| Bande passante mémoire par GPU | 7,7 To/s | 7,7 To/s |
| NVLink | 1,8 To/s par GPU, 14,4 To/s au total | 1,8 To/s par GPU, 14,4 To/s au total |
| Cœurs Tensor FP4 par serveur, avec parcimonie et en dense | 144 et 108 PFLOPS | 144 et 72 PFLOPS |
| Cœurs Tensor FP8 par serveur, avec parcimonie | 72 PFLOPS | 72 PFLOPS |
| FP64 par serveur | 10 TFLOPS | 296 TFLOPS |
Choisissez le HGX B300 lorsque la mémoire par GPU détermine votre partitionnement : 270 Go accueillent sur un seul GPU les 140 Go de poids BF16 d'un modèle de 70 milliards de paramètres, avec 130 Go de marge. Choisissez le HGX B200 lorsque votre travail combine entraînement et simulation FP64. Le GB300 NVL72 réunit 72 GPU Blackwell Ultra et 36 CPU Grace dans un seul domaine NVLink refroidi par liquide, avec 20 To de HBM3e et 130 To/s de bande passante NVLink. Vera Rubin est la prochaine plateforme NVIDIA que nous avons en commande, avec 288 Go de HBM4 par GPU et la sixième génération de NVLink.
Un réseau d'interconnexion dédié et non bloquant
Chaque cluster HGX B300 dispose de son propre réseau d'interconnexion est-ouest, optimisé par rails et entièrement non bloquant, avec 800 Gbit/s par GPU.
- Bande passante : plans de 1 x 800 ou 2 x 400 Gbit/s par GPU, 6,4 Tbit/s par serveur, avec NVIDIA ConnectX-8 de préférence.
- Commutation : NVIDIA Spectrum-X ou Broadcom Tomahawk 6 de préférence, NVIDIA Quantum InfiniBand ou Tomahawk 5 acceptés.
- Dans chaque serveur : NVLink de cinquième génération à 1,8 To/s par GPU.
- Stockage et services : un réseau nord-sud distinct, de préférence à 400 Gbit/s par nœud, compatible RoCEv2, MTU 9000, sans sursouscription sur les commutateurs leaf du stockage.
Les clusters existent en trois tailles de référence, et les clusters plus grands suivent la même architecture.
| Élément | 64 nœuds | 128 nœuds | 288 nœuds |
|---|---|---|---|
| Nœuds GPU (8 GPU chacun) | 64 | 128 | 288 |
| GPU | 512 | 1 024 | 2 304 |
| Nœuds CPU | 24 | 48 | 108 |
| Nœuds du plan de contrôle | 6 | 6 | 6 |
| Stockage, option système de stockage (capacité utile) | 512 To | 1 024 To | 2 304 To |
| Stockage, option nœuds de stockage | 9 nœuds | 17 nœuds | 38 nœuds |
| Charge informatique estimée | environ 0,98 MW | environ 1,95 MW | environ 4,39 MW |
Chaque taille comprend des nœuds CPU pour le service des modèles, le routage et les traitements par lots, avec au moins 6 threads matériels et 24 Go de mémoire par GPU du cluster, ainsi que six nœuds du plan de contrôle répartis sur deux baies. Notre page Clusters GPU traite de la planification électrique, à environ 14 kW par nœud GPU.
Stockage des points de contrôle et des jeux de données
Le stockage existe en deux options, toutes deux dimensionnées par GPU, et chaque nœud GPU ajoute au moins 9,2 To de NVMe local brut pour les fragments de jeux de données et le stockage intermédiaire des points de contrôle.
Option A : un système de stockage géré
Un système VAST Data, WEKA ou DDN, selon votre préférence, avec au moins 1 To utile par GPU (512 To sur un cluster de 64 nœuds), un débit et une latence contractuels par niveau, une visibilité sur l'utilisation et les quotas, une restauration testée et une escalade vers le fournisseur 24 h/24, 7 j/7.
Option B : des nœuds de stockage pour votre propre logiciel
Des nœuds de stockage avec au moins 3 To bruts par GPU sur des disques NVMe PCIe 5.0 de 30,72 To, à partir de 9 nœuds au minimum, avec prise en charge des disques à chiffrement automatique. Les deux options sont décrites sur la page Stockage et réseau.
Comment nous traitons les pannes en cours d'entraînement
Lorsque du matériel tombe en panne en cours d'entraînement, nous retirons le nœud du service et le réparons ou le remplaçons, pour que votre tâche puisse redémarrer sur des nœuds sains.
- Les pannes GPU fatales (XID 79, XID 48, erreurs ECC sur deux bits et échecs du remappage de lignes) mettent immédiatement un nœud en quarantaine.
- Les erreurs XID 13 et XID 31 récurrentes sont traitées à partir d'un nombre d'occurrences convenu avec vous.
- Les blocages NCCL sont corrélés aux événements du réseau d'interconnexion, de sorte qu'une tâche bloquée est rattachée au lien qui en est la cause.
- Les nœuds soupçonnés de corruption silencieuse des données restent en quarantaine.
- Les disques NVMe sont remplacés avant d'atteindre leur limite d'endurance.
La télémétrie opérationnelle est conservée au moins 30 jours, et l'historique des incidents et des états au moins 12 mois. La liste complète figure dans nos engagements d'exploitation, et notre article Pourquoi les longs entraînements échouent sur un cloud partagé décrit les modes de défaillance.
Le déverminage plutôt qu'un essai
Chaque cluster réussit les tests de validation matérielle HW-1 à HW-5 de NVIDIA avant la mise à disposition, et les résultats figurent dans votre rapport de réception.
- HW-1
Débit des opérations collectives
Débit NCCL de référence mesuré avec nccl-tests, avec des opérations collectives accélérées par SHARP lorsque le réseau d'interconnexion les prend en charge.
nccl-tests - HW-2
Chaque rail réseau
Chaque rail InfiniBand ou RoCE est testé avec ib_write_bw.
ib_write_bw - HW-3
GPUDirect et stockage
Tests de fumée GPUDirect RDMA et de stockage, y compris en lecture et en écriture NVMe.
GPUDirect RDMA, NVMe - HW-4
NVLink et NVSwitch
Nombre de liens NVLink et NVSwitch et bande passante vérifiés avec nvbandwidth.
nvbandwidth - HW-5
Test d'endurance de 24 heures
Un test d'endurance de 24 heures sous une charge d'inférence représentative, avec un plafond de puissance maintenu.
charge d'inférence sous plafond de puissance
Nous ne proposons ni essais, ni preuves de concept, ni locations de courte durée. Le rapport de réception présente le débit NCCL, chaque rail InfiniBand ou RoCE, les liens NVLink et NVSwitch et un test d'endurance de 24 heures, mesurés sur les nœuds sur lesquels vous entraînerez vos modèles. Découvrez le fonctionnement du déverminage et de la réception.
Louer des GPU pour l'entraînement de modèles, avec des engagements de 36 à 60 mois
Les clusters d'entraînement sont loués en serveurs complets pour 36, 48 ou 60 mois à un tarif mensuel fixe unique, et plus l'engagement est long, plus le tarif est bas.
Demander un devis
Indiquez-nous la taille du modèle, le nombre de serveurs, la durée d'engagement, le site et la date à laquelle vous en avez besoin.
Proposition
Nous envoyons une proposition écrite établie par rapport à notre spécification de livraison, où chaque modification dont vous avez besoin figure sous forme d'écart numéroté.
Ouverture de compte et contrat
L'entreprise qui utilisera les serveurs remplit nos trois formulaires d'ouverture de compte, signe le contrat de location et verse l'acompte.
Montage, déverminage et mise à disposition
Nous montons le cluster et le soumettons au déverminage à Toronto, ou au Delaware à mesure de la mise en service de ce site, puis le mettons à disposition avec le rapport de réception, un canal Slack partagé et un responsable technique de compte attitré.
Le solde est facturé chaque mois pendant toute la durée du contrat, sans frais de sortie de données, et les allocations plus importantes peuvent nécessiter une garantie bancaire ou une lettre de crédit. Si vous voulez que nous exploitions la couche plateforme, nous installons et exploitons un Kubernetes géré avec NVIDIA GPU Operator et Network Operator, ou Slurm géré. Notre article sur l'entraînement soutenu sur B300 dédié montre comment les laboratoires planifient une campagne autour d'une durée fixe.
Questions des acheteurs
Quel est le plus petit cluster d'entraînement que vous louez ?
Nous louons des serveurs complets : la plus petite unité est donc un serveur HGX B300 à 8 GPU avec un engagement de 36 mois. Nos clusters de référence comptent 64, 128 et 288 nœuds sur un réseau d'interconnexion dédié, et les clusters plus grands suivent la même architecture.
Pouvons-nous tester le cluster avant de signer ?
Nous ne proposons ni essais ni preuves de concept. Chaque cluster réussit les tests de validation matérielle HW-1 à HW-5 de NVIDIA avant la mise à disposition, et vous recevez les résultats dans un rapport de réception. Voir Déverminage et réception.
Construisez-vous des réseaux d'interconnexion d'entraînement InfiniBand ou Ethernet ?
Notre spécification de livraison privilégie NVIDIA Spectrum-X ou Broadcom Tomahawk 6 et accepte NVIDIA Quantum InfiniBand ou Tomahawk 5. Dans tous les cas, le réseau d'interconnexion est optimisé par rails, entièrement non bloquant, offre 800 Gbit/s par GPU et vous est dédié.
Quel stockage choisir pour les points de contrôle ?
L'option A est un système VAST Data, WEKA ou DDN avec au moins 1 To utile par GPU et une escalade vers le fournisseur 24 h/24, 7 j/7. L'option B consiste en des nœuds de stockage avec au moins 3 To bruts par GPU pour un logiciel de stockage que vous exploitez vous-même.
Que se passe-t-il quand un GPU tombe en panne pendant un entraînement ?
Les pannes fatales, comme XID 79 ou les erreurs ECC sur deux bits, mettent immédiatement le nœud en quarantaine, et nous le réparons ou le remplaçons avant qu'il ne réintègre votre cluster. Un responsable de l'incident est désigné dans un délai de 15 minutes.
Proposez-vous des engagements d'un ou deux ans pour les clusters d'entraînement ?
Non. Les serveurs GPU sont loués pour 36, 48 ou 60 mois, et plus l'engagement est long, plus le tarif est bas.
Planifier votre prochain cluster d'entraînement
Indiquez-nous le modèle, la taille du cluster, la durée d'engagement et le site : nous répondons par une proposition écrite établie par rapport à notre spécification de livraison.