NVIDIA HGX B200

Le HGX B200 convient aux équipes qui veulent Blackwell pour l'entraînement et l'inférence tout en exécutant encore des travaux en double précision. Chaque GPU dispose de 180 Go de HBM3e, soit 1 440 Go par serveur : un modèle de 70 milliards de paramètres en FP8 (environ 70 Go de poids) tient donc sur un seul GPU, avec environ 110 Go restants pour le cache KV et le traitement par lots.

Les groupes de recherche et les équipes IA qui exécutent des simulations à côté de l'entraînement de modèles disposent des deux sur une même plateforme. Les équipes qui ont besoin du maximum de mémoire par GPU devraient le comparer au HGX B300, qui en offre 270 Go.

La fiche technique Blackwell de NVIDIA indique 7,7 To/s de bande passante mémoire par GPU. Chaque GPU est configurable jusqu'à 1 000 W, et NVIDIA annonce environ 14,3 kW pour son propre système DGX B200, un chiffre utile pour la planification du site.

Les serveurs HGX B200 sont configurés selon vos exigences et confirmés dans votre proposition : CPU, mémoire système, NVMe local, cartes réseau et refroidissement. L'architecture de référence DGX B200 de NVIDIA attribue à chaque GPU une carte ConnectX-7 offrant jusqu'à 400 Gbit/s, et nous dimensionnons le réseau dorsal selon le cluster que vous prévoyez. Chaque serveur est soumis au déverminage avant la mise à disposition, et vous recevez les résultats dans un rapport de réception, comme le décrit notre page Déverminage et réception.

Vous pouvez louer des HGX B200 en serveurs individuels ou en cluster sur un réseau d'interconnexion qui vous est dédié. Le cluster est conçu avec vous, du réseau d'interconnexion est-ouest aux nœuds CPU et au stockage, et décrit dans votre proposition.

Nos architectures de référence HGX B300 publiées illustrent l'approche : un réseau d'interconnexion optimisé par rails, entièrement non bloquant, qu'aucun autre client ne partage, des nœuds CPU pour les services autour des GPU et un stockage dimensionné par GPU. Notre page Clusters GPU dédiés explique comment un cluster est construit et mis à disposition, et la page Kubernetes géré traite de l'orchestration si vous souhaitez que nous en assurions l'exploitation.

Les allocations HGX B200 sont ouvertes. Vous louez des serveurs complets à 8 GPU avec un contrat de 36, 48 ou 60 mois, et plus l'engagement est long, plus le tarif est bas.

Avant la signature, l'entreprise qui utilisera les serveurs remplit trois formulaires d'ouverture de compte. Vous versez un acompte à la signature, puis payez un tarif mensuel fixe unique pendant toute la durée du contrat, sans frais de sortie de données. Les allocations plus importantes peuvent exiger une garantie de paiement, comme une garantie bancaire ou une lettre de crédit. Nous ne proposons pas d'essais : le déverminage et le rapport de réception en tiennent lieu. Votre proposition désigne le site parmi nos emplacements de centres de données, et notre page Comment acheter détaille chaque étape.

Le HGX B200 convient à l'entraînement et au réglage fin qui tiennent dans 180 Go par GPU, à l'inférence en FP4, FP8 ou INT8, et au calcul scientifique qui nécessite du FP64 à côté de l'IA. Notre page Entraînement IA traite du stockage, de la gestion des pannes et des conditions contractuelles pour les feuilles de route d'entraînement. Pour comprendre la logique du dimensionnement, lisez Goulets d'étranglement de l'entraînement des modèles de fondation et Pourquoi les longs entraînements échouent sur un cloud partagé.

Si la mémoire par GPU est le facteur limitant, le HGX B300 offre 270 Go par GPU et 108 PFLOPS en FP4 dense par serveur. Si votre code est optimisé pour Ampere, l'A100 80GB est disponible sur demande.