Déverminage et réception
Chaque cluster réussit les tests de validation matérielle de NVIDIA, HW-1 à HW-5, avant que nous le mettions à votre disposition. Vous recevez les résultats dans un rapport de réception.
Les tests de déverminage GPU nous permettent de vérifier un cluster sous charge avant que vous n'y exécutiez quoi que ce soit. Chaque cluster 1Legion réussit la validation matérielle de NVIDIA pour les fournisseurs d'inférence, soit les tests HW-1 à HW-5, avant la mise à disposition, et les résultats vous sont remis dans un rapport de réception. Ce déverminage tient lieu d'essai : vous obtenez des preuves issues du matériel que vous utiliserez réellement.
Les cinq tests de déverminage
Le déverminage comprend cinq tests, chacun ciblant une partie différente du cluster, et nous ne mettons un cluster à disposition que lorsqu'il les réussit tous les cinq.
- HW-1
Débit des opérations collectives
Débit NCCL de référence mesuré avec nccl-tests, avec des opérations collectives accélérées par SHARP lorsque le réseau d'interconnexion les prend en charge.
nccl-tests - HW-2
Chaque rail réseau
Chaque rail InfiniBand ou RoCE est testé avec ib_write_bw.
ib_write_bw - HW-3
GPUDirect et stockage
Tests de fumée GPUDirect RDMA et de stockage, y compris en lecture et en écriture NVMe.
GPUDirect RDMA, NVMe - HW-4
NVLink et NVSwitch
Nombre de liens NVLink et NVSwitch et bande passante vérifiés avec nvbandwidth.
nvbandwidth - HW-5
Test d'endurance de 24 heures
Un test d'endurance de 24 heures sous une charge d'inférence représentative, avec un plafond de puissance maintenu.
charge d'inférence sous plafond de puissance
Ensemble, ils couvrent les chemins dont dépend une charge de travail distribuée : entre les GPU d'un même serveur (HW-4), entre les serveurs à travers le réseau d'interconnexion (HW-1 et HW-2), le chemin réseau vers la mémoire des GPU et le chemin de stockage (HW-3), et l'ensemble du cluster sous charge soutenue (HW-5). Ces tests font partie de la section 15 de notre spécification de livraison.
Ce que prouve chaque test
Chaque test vérifie une partie du matériel, et sa réussite vous apprend quelque chose de précis sur le cluster que vous utiliserez.
HW-1 : débit NCCL
NCCL (NVIDIA Collective Communications Library) est le logiciel qu'utilisent les GPU pour échanger des données pendant l'entraînement et l'inférence distribués, dans des opérations comme all-reduce. HW-1 exécute nccl-tests, le banc d'essai de NVIDIA pour NCCL, sur l'ensemble du cluster, avec SHARP lorsque les commutateurs le prennent en charge. SHARP effectue une partie de chaque réduction dans les commutateurs, si bien que moins de données doivent traverser le réseau.
Sa réussite montre que les GPU de serveurs différents échangent des données au débit exigé par le test. Lorsque le débit des opérations collectives est insuffisant, chaque étape d'une tâche distribuée attend le réseau.
HW-2 : chaque rail du réseau d'interconnexion
Dans un réseau d'interconnexion optimisé par rails, un rail est l'ensemble des liens qui relient les GPU occupant une même position, dans chaque serveur, à leurs propres commutateurs. HW-2 exécute ib_write_bw, qui mesure la bande passante d'écriture RDMA entre deux ports, sur chaque rail InfiniBand ou RoCE du cluster.
Sa réussite montre que chaque rail est performant à lui seul, et pas seulement le réseau d'interconnexion en moyenne. C'est important, car une opération collective avance à la vitesse de son lien le plus lent : un seul câble, émetteur-récepteur ou port peu performant peut ralentir tous les GPU d'une tâche.
HW-3 : GPUDirect RDMA et stockage
GPUDirect RDMA permet à une carte réseau de lire et d'écrire directement dans la mémoire des GPU, sans copier les données en passant par le CPU et la mémoire système. HW-3 exécute des tests de fumée, c'est-à-dire de courtes vérifications qu'un chemin fonctionne de bout en bout, sur GPUDirect RDMA et sur le stockage, y compris en lecture et en écriture NVMe.
Sa réussite montre que les données atteignent les GPU par le chemin direct pour lequel le cluster a été conçu, et que le chemin de stockage fonctionne en lecture et en écriture. Sans GPUDirect RDMA, le trafic se rabat sur une route plus lente qui passe par la mémoire de l'hôte : les tâches s'exécutent toujours, mais plus lentement, et c'est pourquoi ce chemin est testé séparément.
HW-4 : NVLink et NVSwitch
Dans chaque serveur HGX, les huit GPU sont reliés entre eux par NVLink et NVSwitch, un chemin bien plus rapide que le réseau entre serveurs. HW-4 utilise nvbandwidth, un outil de NVIDIA, pour mesurer la bande passante de ces liens, et vérifie le nombre de liens : chaque lien qui doit être actif l'est bien.
Sa réussite montre que chaque GPU a tous ses liens NVLink actifs et qu'ils offrent la bande passante attendue par le test. Un lien manquant n'empêche pas un serveur de fonctionner ; il le ralentit, et c'est pourquoi le nombre de liens est vérifié.
HW-5 : test d'endurance de 24 heures
HW-5 applique au cluster une charge d'inférence représentative pendant 24 heures avec un plafond de puissance maintenu, c'est-à-dire une limite de puissance fixe tenue pendant toute la durée du test. Les défauts qu'un test court ne détecte pas, comme les erreurs liées à la chaleur, les problèmes d'alimentation et les pannes intermittentes, ont tendance à apparaître après des heures de charge constante.
Sa réussite montre que le matériel reste stable pendant une journée entière de charge constante et représentative.
Le rapport de réception
Les résultats du déverminage vous sont remis dans un rapport de réception : vous disposez ainsi des preuves au moment où le cluster devient le vôtre.
Le rapport consigne les résultats des tests HW-1 à HW-5 pour votre cluster. Conservez-le comme référence. Les outils sont publics (nccl-tests, ib_write_bw et nvbandwidth) : si vous soupçonnez un problème plus tard, vos ingénieurs peuvent exécuter les mêmes tests et comparer.
Le matériel lui-même est enregistré dans notre inventaire de référence : chaque baie, nœud, GPU, carte réseau, disque, commutateur, port, émetteur-récepteur et câble, avec une exportation lisible par machine à votre intention. Après la mise à disposition, le cluster est exploité selon nos engagements d'exploitation écrits.
Lorsqu'un nœud échoue
Un nœud qui échoue à un test n'entre pas en service : il est mis en quarantaine, réparé ou remplacé, puis testé de nouveau.
Mise en quarantaine
Le nœud est retiré du cluster afin de ne pas affecter les autres nœuds ni les résultats.
Réparation ou remplacement
Nous trouvons et corrigeons le défaut, ou remplaçons la pièce défectueuse ou le nœud entier.
Nouveau test
Le nœud réparé ou de remplacement est testé de nouveau, et le cluster est mis à disposition dès qu'il réussit.
La même rigueur s'applique après la mise à disposition. Tout défaut GPU fatal (XID 79, XID 48, erreurs ECC sur deux bits et échecs du remappage de lignes) entraîne une mise en quarantaine immédiate, et nous maintenons en quarantaine tout nœud soupçonné de corruption silencieuse des données.
Pourquoi le déverminage remplace un essai
Nous ne proposons ni essais, ni démonstrations, ni preuves de concept, ni locations de courte durée ; nous vous apportons à la place des preuves issues du matériel que vous utiliserez réellement.
Un essai montre le comportement d'un serveur pendant une courte période, et généralement pas celui du serveur que vous aurez au final. Nos contrats portent sur des serveurs complets pendant 36, 48 ou 60 mois : ce que vous devez savoir, c'est comment se comporte le cluster que vous recevez. Le déverminage le vérifie sur votre propre matériel, et le rapport de réception consigne les résultats par écrit.
Avant de signer, la spécification de livraison vous indique ce que vous achetez, et nos ingénieurs peuvent répondre à vos questions à son sujet. Notre page Comment acheter détaille les étapes contractuelles, de la demande à la mise à disposition.
Questions des acheteurs
Qu'est-ce que le déverminage GPU ?
C'est le fait de faire fonctionner de nouveaux serveurs GPU sous charge soutenue avant leur mise en service, afin que les défauts matériels apparaissent avant vos charges de travail. Notre déverminage correspond à la validation matérielle de NVIDIA pour les fournisseurs d'inférence, soit les tests HW-1 à HW-5.
Pouvons-nous d'abord faire un essai ou une preuve de concept ?
Non. Nous ne proposons ni essais, ni démonstrations, ni preuves de concept, ni locations de courte durée. Chaque cluster réussit les tests HW-1 à HW-5 avant la mise à disposition, et vous recevez les résultats dans un rapport de réception.
Qu'est-ce qu'un test NCCL ?
Une exécution de nccl-tests, le banc d'essai de NVIDIA pour la bibliothèque NCCL, qui mesure la vitesse à laquelle les GPU échangent des données dans des opérations collectives comme all-reduce. C'est le test HW-1 de notre déverminage.
Quels outils les tests utilisent-ils ?
nccl-tests avec SHARP lorsqu'il est pris en charge (HW-1), ib_write_bw sur chaque rail InfiniBand ou RoCE (HW-2), des tests de fumée GPUDirect RDMA et de stockage, y compris en lecture et en écriture NVMe (HW-3), nvbandwidth pour NVLink et NVSwitch (HW-4), et un test d'endurance de 24 heures sous une charge d'inférence représentative (HW-5).
Que se passe-t-il si un nœud échoue à un test ?
Le nœud est mis en quarantaine, réparé ou remplacé, puis testé de nouveau. Nous mettons le cluster à disposition dès qu'il réussit.
Dites-nous ce que vous devez exécuter.
Indiquez-nous le matériel, le nombre de serveurs, la durée d'engagement et la date de début. Vous recevez une proposition écrite fondée sur notre spécification de livraison.