Glossaire de l'infrastructure GPU
Des définitions courtes et exactes des termes que vous rencontrez dans les spécifications de serveurs GPU, les architectures de clusters, les exigences relatives aux centres de données et les contrats, avec des liens vers les pages qui les traitent en détail.
Ce glossaire de l'infrastructure GPU définit les termes qui figurent dans les spécifications de serveurs GPU, les architectures de clusters, les exigences relatives aux centres de données et les contrats. Lorsqu'une page de notre site traite un sujet en détail, la définition renvoie à cette page.
A
Rapport de réceptionAcceptance report
Le document qui consigne les tests qu'un serveur ou un cluster a réussis avant la mise à disposition, avec leurs résultats. Chaque cluster 1Legion est livré avec un rapport de ce type, qui couvre les tests de validation matérielle HW-1 à HW-5 de NVIDIA ; voir Déverminage et réception.
ASN
Numéro de système autonome (autonomous system number) : l'identifiant, attribué par l'intermédiaire d'un registre Internet régional, qu'un réseau utilise pour échanger des routes avec d'autres réseaux via BGP. Sur les clusters HGX B300 construits selon notre spécification de livraison, le réseau de bordure peut annoncer vos propres préfixes IP sous votre propre ASN ; voir Stockage et réseau.
B
Bare metal
Un serveur physique dédié à un seul client, sans hyperviseur entre la charge de travail et le matériel, de sorte que le client dispose de la totalité de ses CPU, de sa mémoire, de ses GPU et de ses interfaces réseau. Tous les serveurs GPU de 1Legion sont loués ainsi, sous forme de serveurs complets.
BGP
Border Gateway Protocol, le protocole de routage que les réseaux utilisent pour échanger des informations d'accessibilité sur Internet. Notre réseau de bordure HGX B300 exécute le BGP externe (eBGP) avec chaque fournisseur de transit et utilise la détection de transfert bidirectionnel (BFD) pour basculer dans un délai d'une minute lorsqu'un lien tombe en panne ; voir Stockage et réseau.
Blackwell Ultra
L'architecture GPU NVIDIA du HGX B300 et du GB300 NVL72. Par rapport à Blackwell (B200), elle offre plus de HBM3e par GPU et un débit FP4 dense plus élevé, mais un débit FP64 bien plus faible : elle est donc conçue pour l'entraînement et l'inférence IA plutôt que pour le calcul haute performance (HPC) en double précision.
BlueField-3
Une unité de traitement des données (DPU) NVIDIA : une carte réseau dotée de ses propres cœurs Arm, capable de décharger le CPU hôte des tâches de réseau, de stockage et de sécurité. Notre spécification de livraison HGX B300 utilise la BlueField-3 comme interface réseau frontale des nœuds GPU et des nœuds CPU ; sur les nœuds GPU, il faut de préférence 2 x 400 Gbit/s, et au minimum 2 x 200 Gbit/s.
DéverminageBurn-in
Le fait de faire fonctionner du matériel neuf sous une charge soutenue avant sa mise en service, afin que les défaillances précoces surviennent avant l'arrivée de votre charge de travail. 1Legion soumet chaque cluster au déverminage avec les tests de validation matérielle HW-1 à HW-5 de NVIDIA, dont un test d'endurance de 24 heures sous une charge d'inférence représentative ; voir Déverminage et réception.
C
Colocation
La location d'espace, d'alimentation électrique, de refroidissement et de connectivité dans un centre de données pour des serveurs dont vous êtes propriétaire, souvent tarifée au kW de puissance. 1Legion revend de la colocation dans ses centres de données partenaires, avec des engagements pluriannuels ; voir Colocation et exploitation.
ConnectX-8
Une SuperNIC NVIDIA offrant jusqu'à 800 Gbit/s de bande passante, qui fonctionne en InfiniBand ou en Ethernet. Notre spécification de livraison la privilégie pour le réseau dorsal (est-ouest) des nœuds HGX B300, à 800 Gbit/s par GPU.
Plan de contrôleControl plane
Les serveurs qui exécutent les services de gestion d'un cluster, comme le serveur d'API Kubernetes et etcd ou le contrôleur Slurm, séparés des nœuds qui exécutent les charges de travail. Nos clusters HGX B300 comptent six nœuds du plan de contrôle pour 2 304 GPU, répartis sur deux baies ; voir la spécification de livraison.
Nœud CPUCPU node
Un serveur sans GPU qui exécute les services autour des nœuds GPU, comme les frontaux de service de modèles, le routage des requêtes et les tâches par lots. Nos clusters HGX B300 fournissent, sur les nœuds CPU, au moins 6 threads matériels et 24 Go de mémoire pour chaque GPU du cluster ; voir Clusters GPU.
D
Niveau Tier d'un centre de donnéesData center tier
Une classification du niveau de redondance de l'alimentation électrique et du refroidissement d'un centre de données. La plus connue est la classification Tier I à Tier IV de l'Uptime Institute, certifiée séparément pour les documents de conception, l'installation construite et la durabilité opérationnelle, tandis que TIA-942 et EN 50600 ont leurs propres classifications à quatre niveaux ; voir Sécurité et conformité.
Filtrage anti-DDoSDDoS scrubbing
Le fait de faire passer le trafic par la capacité de filtrage d'un fournisseur pendant une attaque par déni de service distribué, afin que le trafic de l'attaque soit éliminé et que seul le trafic légitime atteigne le réseau. Dans notre spécification HGX B300, le filtrage volumétrique des couches 3 et 4 est activé via BGP dans un délai de 5 minutes et offre une capacité d'au moins 1 Tbit/s ; voir Stockage et réseau.
AcompteDown payment
Le montant qu'un client verse à la signature d'un contrat. 1Legion perçoit un acompte à la signature, puis facture le solde chaque mois à un tarif fixe unique pendant toute la durée du contrat. Les allocations plus importantes peuvent exiger une garantie de paiement, comme une garantie bancaire ou une lettre de crédit ; voir Comment acheter.
E
Réseau d'interconnexion est-ouestEast-west fabric
Le réseau entre les nœuds GPU d'un cluster, qui transporte les opérations collectives de l'entraînement et de l'inférence distribués. Dans nos clusters HGX B300, il est optimisé par rails, entièrement non bloquant, fonctionne à 800 Gbit/s par GPU et est dédié à un seul client ; voir Clusters GPU.
Erreur ECCECC error
Une erreur mémoire détectée par un code correcteur d'erreurs. Une erreur sur un seul bit est corrigée sur place, mais pas une erreur sur deux bits : 1Legion traite donc une telle erreur sur un GPU comme une panne fatale et met immédiatement le matériel en quarantaine ; voir Engagements d'exploitation.
Trafic sortantEgress
Les données qui quittent le réseau d'un fournisseur, comme les résultats, les points de contrôle ou les médias que vous transférez à l'extérieur. De nombreux clouds facturent ce trafic au gigaoctet ; les contrats 1Legion ne comportent pas de frais de sortie de données, comme l'explique la page Comment acheter.
F
FP4
Un format à virgule flottante sur 4 bits qui stocke les poids du modèle, et dans certains cas les activations, dans deux fois moins de mémoire que le FP8, au prix d'une certaine perte de précision. Les cœurs Tensor des GPU NVIDIA Blackwell l'exécutent en matériel, y compris la variante NVFP4 de NVIDIA, qui ajoute une mise à l'échelle fine pour préserver l'exactitude ; voir Serveurs GPU pour l'inférence IA.
FP8
Un format à virgule flottante sur 8 bits, avec les variantes E4M3 et E5M2, qui divise par deux la mémoire par valeur par rapport au FP16 ou au BF16. Les cœurs Tensor des GPU NVIDIA Ada Lovelace, Hopper et Blackwell l'exécutent pour l'entraînement et l'inférence ; voir Serveurs GPU pour l'inférence IA.
G
GB300 NVL72
Le système NVIDIA à l'échelle d'une baie qui réunit 72 GPU Blackwell Ultra et 36 CPU Grace dans un seul domaine NVLink, entièrement refroidi par liquide. 1Legion le loue sous forme de baie complète de 72 GPU, sur réservation ; voir NVIDIA GB300 NVL72.
GDDR7
La génération de mémoire graphique des cartes RTX Blackwell de NVIDIA, montée sur le circuit imprimé autour du GPU plutôt qu'empilée à côté de lui comme la HBM. La RTX PRO 6000 Blackwell dispose de 96 Go de GDDR7 et la GeForce RTX 5090 de 32 Go.
GPU Operator
L'opérateur Kubernetes de NVIDIA qui installe et gère le pilote GPU, la boîte à outils de conteneurs, le plugin de périphériques et les composants de surveillance sur chaque nœud GPU. Notre service Kubernetes géré l'installe avec le NVIDIA Network Operator.
GPUDirect RDMA
Une technologie NVIDIA qui permet à une carte réseau de lire et d'écrire directement dans la mémoire GPU, sans copier les données par la mémoire de l'hôte. Elle réduit la latence et la charge CPU pour le trafic entre GPU de nœuds différents et vers le stockage, et le test HW-3 la vérifie avant la mise à disposition ; voir Déverminage et réception.
H
HBM3e
Une version étendue de la norme de mémoire à large bande passante HBM3 : des piles de puces DRAM sur le même boîtier que le GPU, qui offrent plusieurs téraoctets par seconde de bande passante par GPU. Selon NVIDIA, le HGX B300 dispose de 270 Go de HBM3e par GPU, soit 2,1 To par serveur à 8 GPU ; voir NVIDIA HGX B300.
HGX
La plateforme serveur de NVIDIA composée de GPU SXM sur une même carte de base, reliés par NVLink au moyen de puces NVSwitch, que les fabricants de serveurs intègrent dans des systèmes complets ; les cartes actuelles accueillent huit GPU. 1Legion loue des systèmes HGX B300 et HGX B200 sous forme de serveurs complets à 8 GPU.
I
Responsable de l'incidentIncident commander
La personne qui dirige la réponse à un incident : elle coordonne les intervenants, décide des actions et assume la communication jusqu'au rétablissement du service. 1Legion accuse réception d'un incident et désigne un responsable de l'incident dans les 15 minutes, puis envoie des mises à jour au moins toutes les 60 minutes ; voir Engagements d'exploitation.
InfiniBand
Une technologie réseau sans perte et à faible latence, qui intègre l'accès direct à la mémoire à distance (RDMA) et le calcul dans le réseau, très utilisée pour les réseaux d'interconnexion des clusters GPU. Les commutateurs Quantum de NVIDIA la mettent en œuvre, et nos clusters HGX B300 acceptent Quantum InfiniBand pour le réseau d'interconnexion est-ouest, mais privilégient Ethernet Spectrum-X ou Broadcom Tomahawk 6.
ISO 27001
ISO/IEC 27001, la norme internationale relative aux systèmes de management de la sécurité de l'information, selon laquelle un organisme accrédité certifie une organisation à l'issue d'un audit externe. Nous sommes engagés dans une démarche SOC 2 et ISO 27001. Notre documentation de sécurité actuelle est disponible sous accord de confidentialité (NDA).
K
Cache KVKV cache
Les clés et les valeurs qu'un modèle transformer stocke pour chaque jeton de son contexte, afin de ne pas les recalculer à chaque nouveau jeton qu'il génère. Le cache grossit avec la longueur du contexte et le nombre de requêtes simultanées : le dimensionnement de l'inférence doit donc réserver de la mémoire GPU pour le cache en plus des poids ; voir Serveurs GPU pour l'inférence IA.
KYC
Connaissance du client (know your customer) : les vérifications qu'un fournisseur effectue pour confirmer l'identité d'un client, qui le détient et le contrôle, et qui signe en son nom. Chez 1Legion, l'entreprise qui utilisera les serveurs remplit, avant de signer, un formulaire d'ouverture de compte client et de vérification préalable qui couvre notamment ses bénéficiaires effectifs ; voir Comment acheter.
L
Refroidissement liquideLiquid cooling
L'évacuation de la chaleur au moyen d'un liquide plutôt que de l'air. Le refroidissement liquide direct sur puce fait circuler un liquide de refroidissement dans des plaques froides posées sur les GPU et les CPU. Il est nécessaire pour les systèmes à l'échelle d'une baie comme le GB300 NVL72, tandis que les serveurs HGX B300 de 1Legion sont aujourd'hui refroidis par air ; voir nos centres de données.
M
Kubernetes géréManaged Kubernetes
Un service dans lequel le fournisseur installe, exploite, met à niveau et surveille un cluster Kubernetes, et en assure la garde, tandis que vous y exécutez vos charges de travail. 1Legion l'installe sur vos serveurs dédiés et propose Slurm géré comme alternative ; voir Kubernetes géré.
MTU
Unité de transmission maximale (maximum transmission unit) : le plus grand paquet qu'un lien réseau transporte sans le fragmenter. L'Ethernet standard utilise 1 500 octets, les réseaux de centres de données utilisent souvent des trames jumbo de 9 000 octets pour réduire le surcoût par paquet, et notre spécification HGX B300 fixe un MTU de 9000 sur le réseau nord-sud ; voir Stockage et réseau.
N
NCCL
La NVIDIA Collective Communications Library, qui exécute les opérations all-reduce, all-gather et d'autres opérations collectives entre GPU via NVLink, InfiniBand et Ethernet. Des frameworks comme PyTorch l'utilisent pour l'entraînement distribué, et le test HW-1 mesure le débit NCCL avec nccl-tests avant la mise à disposition ; voir Déverminage et réception.
NéocloudNeocloud
Un fournisseur de cloud spécialisé dans le calcul GPU pour l'IA, généralement avec une capacité dédiée ou bare metal, par opposition aux clouds hyperscale généralistes. Aux entreprises qui veulent en devenir un, 1Legion fournit la colocation, une exploitation 24 h/24, 7 j/7 et des clients ; voir Colocation et exploitation.
Réseau nord-sudNorth-south network
Le réseau qui relie un cluster au stockage, aux services extérieurs et à Internet, par opposition au réseau d'interconnexion est-ouest entre les nœuds GPU. Notre spécification HGX B300 privilégie 400 Gbit/s par nœud, sans sursouscription sur les commutateurs leaf de stockage et avec un taux inférieur à 4:1 sur les commutateurs leaf GPU ; voir Stockage et réseau.
NVLink
L'interconnexion directe de GPU à GPU de NVIDIA. La cinquième génération de NVLink offre à chaque GPU Blackwell 1,8 To/s de bande passante vers les autres GPU de son domaine NVLink, contre 256 Go/s pour une connexion PCIe Gen6 x16 ; voir NVIDIA HGX B300.
NVSwitch
La puce de commutation NVIDIA qui relie les ports NVLink de nombreux GPU, de sorte que chaque GPU peut atteindre n'importe quel autre à la pleine bande passante NVLink. Les cartes HGX intègrent des puces NVSwitch pour leurs huit GPU, le GB300 NVL72 relie 72 GPU au moyen de tiroirs de commutation NVLink, et le test HW-4 vérifie le nombre de liens et la bande passante avec nvbandwidth ; voir Déverminage et réception.
O
Gestion hors bandeOut-of-band management
Un réseau et un contrôleur distincts, le contrôleur de gestion de la carte mère (BMC), qui permettent de gérer le matériel d'un serveur indépendamment de son système d'exploitation, via des interfaces comme IPMI et Redfish. Ils assurent le contrôle de l'alimentation, les consoles, le micrologiciel et la télémétrie matérielle, et nos engagements d'exploitation exigent que l'accès hors bande soit audité ; voir Engagements d'exploitation.
SursouscriptionOversubscription
Le rapport entre la bande passante que les serveurs peuvent envoyer vers un commutateur et la bande passante dont dispose le commutateur vers le reste du réseau ; à 1:1, le réseau est non bloquant. Notre spécification HGX B300 n'autorise aucune sursouscription sur les commutateurs leaf de stockage et un taux inférieur à 4:1 sur les commutateurs leaf GPU ; voir Stockage et réseau.
P
Serveur PCIePCIe server
Un serveur dont les GPU sont des cartes d'extension insérées dans des emplacements PCI Express plutôt que des modules SXM sur une carte de base HGX : les GPU communiquent donc entre eux via PCIe et le réseau, et non au sein d'un domaine NVLink complet. 1Legion loue des serveurs PCIe, par exemple à base de RTX PRO 6000 Blackwell et de L40S sous forme de serveurs complets à 8 GPU, et à base de RTX 4000 Ada et de RTX A4000 sous forme de serveurs à 4 GPU ; voir Serveurs GPU.
Rapport post-incidentPostmortem
Un compte rendu écrit, établi après un incident, qui expose la chronologie, la cause première, l'impact et les actions qui éviteront qu'il se reproduise. 1Legion en fournit un dans les 7 jours civils suivant chaque incident ayant un impact sur un client ; voir Engagements d'exploitation.
Q
Mise en quarantaineQuarantine
Le retrait du service d'un nœud suspect, afin qu'aucune charge de travail ne s'y exécute tant qu'il n'a pas été réparé ou remplacé, puis testé de nouveau. 1Legion met immédiatement le matériel en quarantaine après une panne GPU fatale (XID 79, XID 48, erreurs ECC sur deux bits et échecs du remappage de lignes) et maintient en quarantaine les nœuds soupçonnés de corruption silencieuse des données ; voir Engagements d'exploitation.
R
Densité par baieRack density
La puissance, en kW, qu'un centre de données peut fournir à une baie et évacuer sous forme de chaleur. C'est le chiffre clé de l'hébergement GPU : nous prévoyons environ 14 kW par nœud HGX B300, et 1Legion demande à chaque site une limite de puissance contractuelle, en kW par baie ; voir Colocation et exploitation.
Réseau d'interconnexion optimisé par railsRail-optimized fabric
Un réseau de cluster dans lequel l'interface réseau du GPU numéro n de chaque serveur est reliée au même commutateur leaf, appelé rail, de sorte que le trafic entre GPU de même numéro situés dans des serveurs différents ne traverse qu'un seul commutateur. Nos clusters GPU utilisent un réseau d'interconnexion est-ouest optimisé par rails et entièrement non bloquant.
Intervention sur siteRemote hands
Les travaux physiques que les techniciens d'un centre de données effectuent sur les serveurs pour le compte de leur propriétaire, comme le remplacement de disques, le rebranchement de câbles ou l'échange de pièces. 1Legion s'engage à ce que l'équipe technique du site ou les techniciens sur site soient mobilisés sur une panne dans un délai de 45 minutes ; voir Engagements d'exploitation.
RoCEv2
RDMA over Converged Ethernet, version 2 : l'accès direct à la mémoire à distance transporté dans des paquets UDP/IP, de sorte qu'il peut être routé sur un réseau Ethernet. Il nécessite un réseau sans perte ou doté d'un contrôle de congestion, et notre spécification HGX B300 exige que le réseau nord-sud prenne en charge RoCEv2 ; voir Stockage et réseau.
RPKI
Resource Public Key Infrastructure : des enregistrements signés, appelés autorisations d'origine de route (ROA), qui indiquent quel ASN peut être à l'origine d'un préfixe IP, afin que les routeurs puissent rejeter les routes détournées ou erronées. Notre réseau de bordure respecte les ROA RPKI lorsqu'il annonce des préfixes appartenant aux clients ; voir Stockage et réseau.
S
SHARP
Le Scalable Hierarchical Aggregation and Reduction Protocol de NVIDIA, qui effectue des réductions comme all-reduce dans les commutateurs du réseau plutôt que sur les GPU. Il fonctionne dans les commutateurs NVIDIA Quantum InfiniBand et, sous le nom de NVLink SHARP, dans les NVSwitch. Le test HW-1 l'utilise lorsque le réseau d'interconnexion le prend en charge ; voir Déverminage et réception.
Corruption silencieuse des donnéesSilent data corruption
Une défaillance matérielle qui produit des résultats erronés sans déclencher d'erreur, par exemple à cause d'un GPU ou d'une cellule mémoire défectueux. Comme aucun plantage ne survient, on la détecte en vérifiant les résultats, et 1Legion maintient en quarantaine tout nœud soupçonné d'en être affecté ; voir Engagements d'exploitation.
Slurm
Un gestionnaire de charges de travail open source qui met en file d'attente et planifie les tâches par lots sur un cluster, très utilisé en calcul haute performance et pour les entraînements à grande échelle. 1Legion propose Slurm géré comme alternative à Kubernetes géré.
SOC 2
Un rapport d'attestation dans lequel un auditeur indépendant examine les contrôles d'une organisation de services au regard des Trust Services Criteria de l'AICPA ; un rapport de Type 2 vérifie en outre la façon dont les contrôles ont fonctionné sur une période donnée. Nous sommes engagés dans une démarche SOC 2 et ISO 27001. Notre documentation de sécurité actuelle est disponible sous accord de confidentialité (NDA).
Spectrum-X
La plateforme réseau Ethernet de NVIDIA pour l'IA, qui associe les commutateurs NVIDIA Spectrum aux SuperNIC NVIDIA pour ajouter le routage adaptatif et le contrôle de congestion au trafic RoCE. Notre spécification HGX B300 privilégie Spectrum-X ou Broadcom Tomahawk 6 pour le réseau d'interconnexion est-ouest ; voir Clusters GPU.
T
Take-or-pay
Un contrat dans lequel l'acheteur s'engage à payer une quantité déterminée de capacité pendant toute la durée du contrat, qu'il l'utilise entièrement ou non, en échange d'une capacité qui lui est exclusivement réservée. Les contrats de serveurs GPU de 1Legion engagent les deux parties pour 36, 48 ou 60 mois à un tarif fixe unique, facturé chaque mois après un acompte ; voir Comment acheter.
Cœur TensorTensor core
Une unité des GPU NVIDIA qui effectue des opérations de multiplication-accumulation de matrices, le calcul de base des réseaux de neurones, avec un débit bien supérieur à celui des cœurs CUDA généralistes. Chaque génération ajoute des formats de moindre précision : Hopper et Ada Lovelace ont ajouté le FP8, et Blackwell le FP6 et le FP4 ; voir Serveurs GPU.
Tier III
Le niveau Tier de l'Uptime Institute qui correspond à un centre de données maintenable sans interruption, dans lequel tout composant des chemins d'alimentation électrique et de refroidissement peut être retiré pour une maintenance planifiée sans arrêter les équipements informatiques. 1Legion demande aux sites la documentation de conception Tier III et l'indication précise de toute certification de l'Uptime Institute, sous accord de confidentialité ; voir Sécurité et conformité.
Fournisseur de transitTransit provider
Un opérateur de réseau qui relie le réseau d'un client au reste d'Internet et achemine son trafic vers et depuis d'autres réseaux via BGP. Notre spécification HGX B300 prévoit deux fournisseurs de transit indépendants, à 100 Gbit/s par circuit, sur des chemins physiquement distincts ; voir Stockage et réseau.
V
Vera Rubin
La plateforme NVIDIA qui succède à Blackwell, associant le GPU Rubin (288 Go de HBM4) au CPU Vera, déclinée en baie Vera Rubin NVL72 et en serveurs HGX Rubin NVL8 à 8 GPU. 1Legion a des serveurs Rubin en commande et prend des réservations ; voir NVIDIA Vera Rubin.
X
Erreur XIDXID error
Un code d'erreur que le pilote NVIDIA inscrit dans le journal système lorsqu'une panne GPU survient, numéroté selon le type. Les erreurs XID 79 (GPU déconnecté du bus) et XID 48 (erreur ECC sur deux bits) sont fatales, tandis que les erreurs XID 13 et XID 31 sont souvent causées par l'application : 1Legion intervient donc lorsqu'elles se répètent au-delà d'un nombre convenu ; voir Engagements d'exploitation.
Dites-nous ce que vous devez exécuter.
Indiquez-nous le matériel, le nombre de serveurs, la durée d'engagement et la date de début. Vous recevez une proposition écrite fondée sur notre spécification de livraison.