Clusters GPU dédiés
Des clusters HGX B300 de 64, 128 ou 288 nœuds, construits selon notre spécification de livraison publiée, soumis au déverminage avant la mise à disposition et exploités sur un réseau d'interconnexion qu'aucun autre client n'utilise.
Un cluster GPU 1Legion est un système NVIDIA HGX B300 complet dédié à un seul client : serveurs GPU, nœuds CPU, plan de contrôle, stockage, réseau d'interconnexion est-ouest non bloquant, réseau nord-sud et réseau de bordure Internet. Nous le construisons selon notre spécification de livraison publiée, le soumettons au déverminage avec les tests de validation matérielle de NVIDIA et l'exploitons pendant toute la durée d'engagement de 36 à 60 mois.
Ce que comprend un cluster IA dédié
Chaque couche du cluster sert un seul client, des GPU au réseau nord-sud, et chaque couche est spécifiée par écrit avant votre signature.
| Nœud | Rôle | Spécification |
|---|---|---|
| Nœud GPU | Exécute vos charges d'entraînement et d'inférence | NVIDIA HGX B300, 8 GPU dotés chacun de 270 Go de HBM3e ; au moins 128 vCPU ; 3 To de mémoire système de préférence, au moins 1,92 To ; au moins 9,2 To de NVMe local brut ; 800 Gbit/s par GPU sur NVIDIA ConnectX-8 (de préférence) ; interface frontale NVIDIA BlueField-3 à 2 x 400 Gbit/s (de préférence) ; refroidissement par air sur recommandation du fabricant |
| Nœud CPU | Exécute les services autour des GPU : service de modèles, routage et traitements par lots | x86, au moins 128 vCPU à une fréquence de base supérieure à 3 GHz, AMD EPYC 9565 ou 9575F de préférence ; 4 Go de mémoire par thread ; interface frontale BlueField-3 |
| Nœud du plan de contrôle | Le plan de contrôle du cluster | 32 vCPU à plus de 3,65 GHz, AMD EPYC 9175F de préférence ; 128 Go de mémoire ; six nœuds pour 2 304 GPU, répartis sur deux baies |
Les nœuds CPU sont dimensionnés en fonction du nombre de GPU : au moins 6 threads matériels et 24 Go de mémoire pour chaque GPU du cluster. La page B300 pour les laboratoires de modèles d'IA décrit ce qu'un entraînement soutenu exige de chaque couche.
Configurations de référence des clusters HGX B300
Trois tailles de référence fixent le nombre de nœuds CPU et de nœuds du plan de contrôle, le stockage et les mégawatts qui accompagnent un nombre donné de nœuds GPU.
| Élément | 64 nœuds | 128 nœuds | 288 nœuds |
|---|---|---|---|
| Nœuds GPU (8 GPU chacun) | 64 | 128 | 288 |
| GPU | 512 | 1 024 | 2 304 |
| Nœuds CPU | 24 | 48 | 108 |
| Nœuds du plan de contrôle | 6 | 6 | 6 |
| Stockage, option système de stockage (capacité utile) | 512 To | 1 024 To | 2 304 To |
| Stockage, option nœuds de stockage | 9 nœuds | 17 nœuds | 38 nœuds |
| Charge informatique estimée | environ 0,98 MW | environ 1,95 MW | environ 4,39 MW |
Les ratios restent les mêmes à toutes les tailles. Avec 24, 48 et 108 nœuds CPU de 128 vCPU, chaque GPU dispose de 6 threads matériels. Le système de stockage offre au moins 1 To utile par GPU. Six nœuds du plan de contrôle suffisent pour les trois tailles, car la spécification en prévoit six pour 2 304 GPU. Au total, les trois tailles réunissent environ 138 To, 276 To et 622 To de HBM3e, et tiennent dans une charge informatique de 1 MW, 2 MW et 4,4 MW respectivement.
Extensible par conception
Les tailles de référence s'arrêtent à 288 nœuds, pas l'architecture. La spécification dimensionne chaque couche par GPU : 800 Gbit/s de réseau d'interconnexion, 6 threads CPU et 24 Go de mémoire CPU, et 1 To de stockage utile. Un cluster plus grand conserve ces ratios, et votre proposition en précise l'architecture, le site et la puissance. Des clusters HGX B300 fonctionnent aujourd'hui à Toronto, et une capacité au Delaware, aux États-Unis, est en cours de mise en service.
Le réseau d'interconnexion est-ouest : Ethernet ou InfiniBand
Chaque GPU dispose de ses propres 800 Gbit/s vers un réseau d'interconnexion optimisé par rails, entièrement non bloquant, qui ne transporte que votre trafic.
- Bande passante : plans de 1 x 800 Gbit/s ou 2 x 400 Gbit/s par GPU, 6,4 Tbit/s par serveur, avec de préférence des cartes réseau NVIDIA ConnectX-8.
- Optimisé par rails : la carte réseau du GPU 1 de chaque serveur est reliée au rail 1, celle du GPU 2 au rail 2, et ainsi de suite.
- Non bloquant : aucune sursouscription dans le réseau d'interconnexion, de sorte que tous les GPU peuvent émettre à plein débit en même temps.
- Commutation : NVIDIA Spectrum-X ou Broadcom Tomahawk 6 de préférence ; NVIDIA Quantum InfiniBand ou Tomahawk 5 acceptés.
- Testé avant la mise à disposition : débit NCCL avec nccl-tests, avec SHARP lorsqu'il est pris en charge (HW-1), et chaque rail InfiniBand ou RoCE avec ib_write_bw (HW-2).
La page Goulets d'étranglement de l'entraînement des modèles de fondation explique pourquoi la bande passante de l'interconnexion et de la mémoire, plus que le nombre de GPU, détermine le débit d'entraînement.
Stockage, réseau nord-sud et bordure
Le stockage et les réseaux qui entourent le réseau d'interconnexion sont spécifiés par GPU et par nœud, dans le même document que les GPU.
- Stockage, option A : un système de stockage géré par le fournisseur, de VAST Data, WEKA ou DDN, avec au moins 1 To utile par GPU, une escalade auprès du fournisseur 24 h/24, 7 j/7 et des engagements de débit et de latence par niveau.
- Stockage, option B : des nœuds de stockage pour votre propre logiciel de stockage, avec au moins 3 To bruts par GPU sur des disques NVMe PCIe 5.0 de 30,72 To, et 9 nœuds au minimum.
- Nord-sud : 400 Gbit/s par nœud de préférence, 200 Gbit/s au minimum ; aucune sursouscription sur les commutateurs leaf de stockage et moins de 4:1 sur les commutateurs leaf GPU ; RoCEv2 et MTU 9000.
- Bordure : deux fournisseurs de transit indépendants à 100 Gbit/s par circuit, eBGP avec BFD, et filtrage anti-DDoS activé via BGP dans un délai de 5 minutes.
Le NAT, les adresses publiques, votre propre espace d'adressage IP et votre ASN, ainsi que la télémétrie des flux, sont traités sur la page Stockage et réseau.
Planification de la puissance d'un cluster GPU
Prévoyez environ 14 kW par nœud GPU : en ajoutant les nœuds CPU, le plan de contrôle, les nœuds de stockage et le réseau, un cluster de 64 nœuds nécessite environ 0,98 MW de charge informatique.
| Cluster de 64 nœuds | Nombre | Valeur prévisionnelle | Charge |
|---|---|---|---|
| Nœuds GPU | 64 | environ 14 kW chacun | 896 kW |
| Nœuds CPU | 24 | 1,0 kW chacun | 24 kW |
| Nœuds du plan de contrôle | 6 | 0,5 kW chacun | 3 kW |
| Nœuds de stockage, option B | 9 | 1,3 kW chacun | 11,7 kW |
| Réseau | 5 % de la charge GPU | 44,8 kW | |
| Total | environ 0,98 MW |
La même méthode donne environ 1,95 MW pour 128 nœuds et 4,39 MW pour 288. Le chiffre de 14 kW est une hypothèse de travail pour un nœud HGX B300 refroidi par air ; NVIDIA indique environ 14 kW pour son propre système DGX B300. Le site doit s'engager sur une limite de puissance contractuelle, en kW par baie, et ce chiffre détermine combien de nœuds GPU partagent une baie. La page Centres de données énumère nos autres exigences envers un site.
Comment un cluster est livré
Un cluster passe de la proposition à la production en cinq étapes, et le rapport de réception marque la frontière entre sa construction et son exploitation.
Proposition
Nous envoyons une proposition écrite établie par rapport à la spécification de livraison. Chaque élément porte la mention « Obligatoire » ou « Privilégié », et toute modification dont vous avez besoin figure comme un écart numéroté.
Contrat et ouverture de compte
L'entreprise qui utilisera le cluster remplit trois formulaires d'ouverture de compte, signe le contrat de location et verse l'acompte. Les allocations plus importantes peuvent exiger une garantie bancaire ou une lettre de crédit.
Construction
Nous installons les serveurs en baie, construisons le réseau d'interconnexion, le réseau nord-sud et la bordure, et consignons chaque baie, nœud, GPU, carte réseau, disque, commutateur, port, émetteur-récepteur et câble dans un inventaire de référence.
Déverminage
Le cluster réussit les tests de validation matérielle HW-1 à HW-5 de NVIDIA : débit NCCL, chaque rail du réseau d'interconnexion, GPUDirect RDMA et stockage, NVLink et NVSwitch, et un test d'endurance de 24 heures maintenu au plafond de puissance.
Mise à disposition et exploitation
Vous recevez le rapport de réception avec tous les résultats. Nous exploitons ensuite le cluster conformément à nos engagements d'exploitation, avec un canal Slack partagé et un responsable technique de compte attitré.
La page Déverminage et réception décrit chaque test et ce qui se passe lorsqu'un nœud échoue à l'un d'eux.
Questions des acheteurs
Le réseau d'interconnexion est-il InfiniBand ou Ethernet ?
Notre spécification de livraison privilégie Ethernet sur NVIDIA Spectrum-X ou Broadcom Tomahawk 6, et accepte NVIDIA Quantum InfiniBand ou Tomahawk 5. Dans les deux cas, le réseau d'interconnexion est optimisé par rails, entièrement non bloquant et offre 800 Gbit/s par GPU.
Le cluster est-il partagé avec d'autres clients ?
Non. Les serveurs GPU, le réseau d'interconnexion est-ouest et le réseau nord-sud sont dédiés à un seul client.
De quelle puissance un cluster GPU a-t-il besoin ?
Environ 0,98 MW de charge informatique pour 64 nœuds, 1,95 MW pour 128 et 4,39 MW pour 288, sur la base d'environ 14 kW par nœud GPU.
Les nœuds GPU sont-ils refroidis par air ou par liquide ?
Les nœuds HGX B300 sont refroidis par air, sur recommandation du fabricant à l'échelle d'un cluster. Le GB300 NVL72, disponible sur réservation, est refroidi par liquide.
Avons-nous accès aux résultats du déverminage ?
Oui. Chaque cluster réussit les tests de validation matérielle HW-1 à HW-5 de NVIDIA avant la mise à disposition, et vous recevez les résultats dans un rapport de réception. Voir Déverminage et réception.
Un cluster peut-il dépasser 288 nœuds ?
Oui. La spécification dimensionne chaque couche par GPU, de sorte qu'un cluster plus grand conserve les mêmes ratios. Votre proposition en précise l'architecture, le site et la puissance.
Dites-nous ce que vous devez exécuter.
Indiquez-nous le matériel, le nombre de serveurs, la durée d'engagement et la date de début. Vous recevez une proposition écrite fondée sur notre spécification de livraison.