Kubernetes géré
Nous installons Kubernetes sur vos serveurs GPU dédiés avec le NVIDIA GPU Operator et le Network Operator, puis nous l'exploitons, le mettons à niveau, le surveillons et restons de garde.
Le Kubernetes géré de 1Legion fonctionne sur des serveurs GPU qui vous sont dédiés, et non sur des nœuds partagés. Nous installons le cluster avec le NVIDIA GPU Operator et le Network Operator, puis nous l'exploitons, le mettons à niveau, le surveillons et restons de garde. Votre équipe déploie via Kubernetes ; nous assurons le bon fonctionnement de la plateforme, des GPU et du réseau d'interconnexion sous-jacents.
Kubernetes sur serveurs GPU bare metal
Deux opérateurs NVIDIA installent les logiciels GPU et réseau sur chaque nœud, de sorte que le matériel apparaît dans Kubernetes sous forme de ressources que vos pods peuvent demander.
NVIDIA GPU Operator
Gère le pilote NVIDIA, le NVIDIA Container Toolkit, le plugin de périphériques Kubernetes, les labels GPU Feature Discovery et la surveillance basée sur DCGM sur chaque nœud GPU. Les pods demandent des GPU sous la forme nvidia.com/gpu.
NVIDIA Network Operator
Installe les logiciels réseau de l'hôte : le pilote réseau NVIDIA, les plugins de périphériques, les plugins CNI et la gestion des adresses IP, afin que les pods puissent utiliser le réseau d'interconnexion RDMA et GPUDirect RDMA.
Les serveurs sont bare metal : il n'y a donc aucun hyperviseur entre vos pods et les GPU, ni aucune charge de travail d'un autre client sur les nœuds. Sur un cluster HGX B300, chaque nœud GPU apporte 8 GPU dotés chacun de 270 Go de HBM3e, 800 Gbit/s de réseau d'interconnexion par GPU et au moins 9,2 To de NVMe local, le tout réservé à vos seules charges de travail. Les nœuds CPU portent les services qui entourent les GPU, comme le service d'inférence, le routage et le traitement par lots, avec au moins 6 threads matériels et 24 Go de mémoire par GPU.
GPU Feature Discovery attribue à chaque nœud des labels indiquant son modèle de GPU, sa mémoire et sa version de pilote, de sorte qu'un déploiement peut sélectionner les nœuds dont il a besoin avec un simple sélecteur de nœuds.
Ce que signifie « géré »
Quatre missions nous incombent tant que nous gérons le cluster : nous l'exploitons, le mettons à niveau, le surveillons et en répondons à toute heure.
Exploitation
Nous exploitons le plan de contrôle, les deux opérateurs et chaque nœud. Les nœuds présentant des pannes GPU fatales (XID 79, XID 48, erreur ECC sur deux bits, échec du remappage de lignes) sont immédiatement mis en quarantaine.
Mises à niveau
Nous mettons à niveau Kubernetes, les opérateurs et le pilote GPU dans le cadre d'une gestion des changements écrite, avec un préavis d'au moins 7 jours civils pour les travaux à risque élevé.
Surveillance
Métriques DCGM de chaque GPU, plus télémétrie matérielle hors bande via BMC et Redfish. La télémétrie opérationnelle est conservée au moins 30 jours, l'historique des incidents et des états au moins 12 mois.
Garde
Deux moyens indépendants et testés de joindre un intervenant de garde qualifié, 24 heures sur 24, tous les jours. Les incidents font l'objet d'un accusé de réception et un responsable de l'incident est désigné dans un délai de 15 minutes.
L'équipe d'exploitation réseau est mobilisée dans un délai de 15 minutes à toute heure, et l'équipe technique du site ou les techniciens sur site dans un délai de 45 minutes. Les erreurs XID 13 et XID 31 récurrentes sont traitées à partir d'un nombre d'occurrences convenu avec vous. Deux autres engagements comptent pour les entraînements de longue durée : nous corrélons les blocages NCCL avec les événements du réseau d'interconnexion, et nous remplaçons les disques NVMe avant qu'ils n'atteignent leur limite d'endurance.
Responsabilité partagée
Nous exploitons la plateforme, du matériel jusqu'à Kubernetes ; vous exploitez ce que vous y déployez.
| Domaine | Ce que fait 1Legion | Ce que vous faites |
|---|---|---|
| Serveurs, alimentation et refroidissement | Détecte et corrige les pannes du matériel, du site et du refroidissement | Signaler toute anomalie dans le canal Slack partagé |
| Pannes GPU | Met immédiatement en quarantaine les nœuds présentant des pannes GPU fatales, et maintient en quarantaine les nœuds soupçonnés de corruption silencieuse de données | Enregistrer des points de contrôle des tâches pour qu'elles reprennent sur des nœuds sains |
| Kubernetes et logiciels des nœuds | Installe, met à niveau et surveille Kubernetes, le GPU Operator, le Network Operator et le pilote GPU | Nous indiquer les versions dont dépendent vos logiciels |
| Réseau d'interconnexion et réseau de bordure | Exploite le réseau d'interconnexion est-ouest, le réseau nord-sud et le réseau de bordure, et applique les modifications d'ACL de bordure dans un délai d'un jour ouvrable | Définir les règles d'ACL de bordure et ce que vos services exposent |
| Incidents | Accuse réception dans un délai de 15 minutes, désigne un responsable de l'incident, communique des mises à jour au moins toutes les 60 minutes et rédige un rapport post-incident dans les 7 jours suivant tout incident ayant un impact sur le client | Signaler les problèmes dans le canal partagé ou par les voies de contact de garde |
| Charges de travail | Maintient en service les nœuds et les GPU sur lesquels elles s'exécutent | Conteneurs, modèles, jeux de données et points de contrôle, ainsi que les déploiements et les tâches qui les utilisent |
| Surveillance | Surveille l'état du cluster, des nœuds et des GPU | Surveiller vos propres applications et modèles |
Mises à niveau et maintenance
Chaque modification du cluster suit une gestion des changements écrite, et toute maintenance à risque élevé non urgente fait l'objet d'un préavis d'au moins 7 jours civils.
La règle s'applique aux mises à niveau de Kubernetes, des deux opérateurs et du pilote GPU chaque fois qu'elles présentent un risque élevé, tout comme aux travaux sur le matériel. Les travaux d'urgence, comme le rétablissement du service pendant un incident, suivent plutôt la procédure de gestion des incidents. Pourquoi les longs entraînements échouent sur un cloud partagé montre ce qu'une mise à jour de pilote non annoncée peut faire à une exécution en cours. L'inventaire de référence enregistre chaque nœud, GPU, carte réseau et disque, détecte les dérives par rapport à la configuration de référence convenue et vous rend visibles les changements d'état dans un délai de 5 minutes, dans une exportation lisible par machine. Notre accès hors bande à vos serveurs fait l'objet d'un audit.
Slurm géré
Slurm géré est l'alternative pour les équipes qui préfèrent planifier leur travail sous forme de tâches par lots.
Les équipes de recherche qui soumettent leurs entraînements avec sbatch et srun, et les mettent en file d'attente par partition et par priorité, préfèrent souvent Slurm à Kubernetes. Nous exploitons l'ordonnanceur que votre équipe préfère et l'indiquons dans votre proposition. Les serveurs, le réseau d'interconnexion et le déverminage HW-1 à HW-5 sont les mêmes dans les deux cas, tout comme le canal partagé avec notre responsable de l'incident. Voir Clusters GPU pour le matériel sous-jacent aux deux.
Tarification de Kubernetes géré
Kubernetes géré est un service de gestion tarifé en plus de la location des serveurs, sur une ligne distincte de votre proposition.
Il n'y a ni tarif publié ni inscription en libre-service. Nous développons notre propre logiciel de plateforme pour l'inventaire, la surveillance et l'automatisation du déverminage. Aujourd'hui, vous travaillez avec nous via le canal Slack partagé, un responsable technique de compte attitré, le rapport de réception remis à la mise à disposition et les rapports que nous vous envoyons. La page Comment acheter explique les conditions, la facturation et l'ouverture de compte.
Questions des acheteurs
Quels logiciels NVIDIA installez-vous ?
Le NVIDIA GPU Operator et le NVIDIA Network Operator. À eux deux, ils gèrent le pilote GPU, le Container Toolkit, le plugin de périphériques, GPU Feature Discovery, la surveillance DCGM et les logiciels réseau RDMA sur chaque nœud.
Proposez-vous Slurm géré ?
Oui. Slurm géré est l'alternative pour les équipes qui préfèrent l'ordonnancement par lots, et votre proposition indique l'ordonnanceur que nous exploitons pour vous.
Que se passe-t-il lorsqu'un GPU tombe en panne ?
Un nœud présentant une panne GPU fatale, comme XID 79, XID 48, une erreur ECC sur deux bits ou un échec du remappage de lignes, est immédiatement mis en quarantaine, et nous identifions et corrigeons la panne.
Quel préavis donnez-vous avant une maintenance ?
Au moins 7 jours civils pour toute maintenance à risque élevé non urgente, et chaque modification suit une gestion des changements écrite.
Existe-t-il une console Web pour le cluster ?
Pas encore. Nous développons notre propre logiciel de plateforme ; aujourd'hui, vous travaillez avec nous via un canal Slack partagé, un responsable technique de compte attitré et des rapports écrits.
Comment Kubernetes géré est-il tarifé ?
Comme un service de gestion qui s'ajoute à la location des serveurs, précisé dans votre proposition écrite. Nous ne publions pas de prix.
Dites-nous ce que vous devez exécuter.
Indiquez-nous le matériel, le nombre de serveurs, la durée d'engagement et la date de début. Vous recevez une proposition écrite fondée sur notre spécification de livraison.