NVIDIA GB300 NVL72
Une baie refroidie par liquide qui réunit 72 GPU Blackwell Ultra et 36 CPU Grace dans un seul domaine NVLink, avec 20 To de HBM3e et 37 To de mémoire rapide, réservée et louée en baie complète.
- GPU par baie
- 72
- Mémoire GPU par baie
- 20 To HBM3e
- NVLink par baie
- 130 To/s
- FP4 par baie
- 1 080 PFLOPS en dense
Caractéristiques techniques
| GPU | |
|---|---|
| Configuration | 72 GPU NVIDIA Blackwell Ultra et 36 CPU NVIDIA Grace |
| Architecture | NVIDIA Grace Blackwell Ultra |
| Mémoire par GPU | 279 Go HBM3e à 8 To/s |
| Mémoire GPU par baie | 20 To HBM3e, jusqu'à 576 To/s |
| Mémoire CPU par baie | 17 To LPDDR5X, 14 To/s |
| Mémoire rapide par baie | 37 To (HBM3e et LPDDR5X) |
| Cœurs CPU par baie | 2 592 cœurs Arm Neoverse V2 |
| Cœurs Tensor FP4, par baie | 1 440 PFLOPS avec parcimonie, 1 080 PFLOPS en dense |
| Cœurs Tensor FP8 et FP6, par baie | 720 PFLOPS avec parcimonie |
| Cœurs Tensor FP16 et BF16, par baie | 360 PFLOPS avec parcimonie |
| Cœurs Tensor TF32, par baie | 180 PFLOPS avec parcimonie |
| FP32, par baie | 6 PFLOPS |
| FP64, par baie | 100 TFLOPS |
| NVLink | Cinquième génération, 1,8 To/s par GPU, 130 To/s par baie |
| Puissance par GPU | Configurable, jusqu'à 1 400 W |
| Serveur tel que livré | |
|---|---|
| Unité louée | Une baie complète, 72 GPU et 36 CPU |
| Refroidissement | Refroidissement entièrement liquide |
| Site | Refroidissement liquide direct sur puce, confirmé avant l'installation |
| Configuration de la baie | Configuration selon vos exigences, confirmée dans votre proposition |
| Réseau | |
|---|---|
| Réseau d'extension horizontale | NVIDIA ConnectX-8 SuperNIC, 800 Gbit/s par GPU |
| Réseau d'interconnexion au-delà de la baie | Conçu avec vous et confirmé dans votre proposition |
Charges de travail types
- Inférence à l'échelle d'une baie pour les modèles de raisonnement et les modèles à mélange d'experts
- Entraînement dont le parallélisme de modèle s'étend sur plus de huit GPU
- Génération vidéo par diffusion à l'échelle d'une baie
Louez sur réservation des baies NVIDIA GB300 NVL72 complètes, refroidies par liquide et qui vous sont dédiées : 72 GPU Blackwell Ultra et 36 CPU Grace réunis dans un seul domaine NVLink. Les réservations portent sur des contrats de 36, 48 ou 60 mois, et chaque prix figure dans une proposition écrite.
À qui s'adresse le GB300 NVL72
Le GB300 NVL72 s'adresse aux modèles qui ont besoin de plus de huit GPU communiquant à la vitesse de NVLink. Sur un serveur à 8 GPU, le trafic entre serveurs traverse le réseau à 800 Gbit/s par GPU. Dans une baie GB300 NVL72, les 72 GPU partagent un seul domaine NVLink, à 1,8 To/s par GPU et 130 To/s au total.
C'est important pour les modèles à mélange d'experts qui répartissent les experts sur de nombreux GPU, pour les grands groupes de parallélisme tensoriel à l'entraînement, et pour les modèles de raisonnement qui servent de longs contextes à de nombreux utilisateurs à la fois. NVIDIA destine aussi cette baie à la génération vidéo par diffusion.
Ses points forts
Un seul domaine NVLink
72 GPU et 36 CPU Grace dans un seul domaine NVLink, avec 130 To/s de bande passante NVLink totale.
Mémoire par baie
20 To de HBM3e avec un débit pouvant atteindre 576 To/s, soit 279 Go à 8 To/s par GPU, et 37 To de mémoire rapide une fois comptés les 17 To de LPDDR5X des CPU Grace.
Puissance de calcul par baie
1 080 PFLOPS en FP4 dense (1 440 PFLOPS avec parcimonie) et 720 PFLOPS en FP8 avec parcimonie, fournis par des GPU configurables jusqu'à 1 400 W chacun.
Réseau d'extension horizontale
Les SuperNIC NVIDIA ConnectX-8 offrent à chaque GPU 800 Gbit/s de connectivité réseau pour le trafic au-delà de la baie.
Comme le HGX B300, le GB300 NVL72 est conçu pour les formats numériques de l'IA : NVIDIA annonce 100 TFLOPS en FP64 pour la baie entière.
Configuration à la livraison
Le GB300 NVL72 est loué en baie complète, configurée selon vos exigences et confirmée dans votre proposition. NVIDIA le conçoit comme un système entièrement refroidi par liquide : nous ne l'installons donc que dans un site doté d'un refroidissement liquide direct sur puce et conforme à nos exigences pour les centres de données, à savoir une limite de puissance contractuelle en kW par baie, deux voies d'alimentation A et B vers chaque baie et une maintenabilité concurrente de l'alimentation et du refroidissement.
NVIDIA ne publie pas de puissance par baie pour le GB300 NVL72 : elle est donc confirmée pour le système retenu avant l'installation. Notre page Centres de données explique comment nous choisissons les sites.
Comment fonctionne une réservation
Le GB300 NVL72 est disponible sur réservation : vous réservez des baies avant leur déploiement. Nous ne publions pas de dates de livraison ; le calendrier de vos baies est convenu par écrit.
Demande et proposition
Indiquez-nous combien de baies il vous faut et pour quand. Notre proposition écrite précise la configuration, le prix et le calendrier de livraison.
Ouverture de compte et contrat
L'entreprise qui utilisera les baies remplit trois formulaires d'ouverture de compte, puis signe un contrat de 36, 48 ou 60 mois et verse l'acompte. Des allocations de cette taille peuvent exiger une garantie de paiement, comme une garantie bancaire ou une lettre de crédit.
Déverminage et mise à disposition
Chaque baie est soumise au déverminage avant la mise à disposition, et vous recevez les résultats dans un rapport de réception. La facturation est mensuelle, à un tarif fixe unique pendant toute la durée du contrat, sans frais de sortie de données.
Plus l'engagement est long, plus le tarif est bas. Notre page Comment acheter détaille les formulaires et la structure de paiement.
Charges de travail et alternatives
Le GB300 NVL72 convient à l'inférence à l'échelle d'une baie pour les modèles de raisonnement et à mélange d'experts, et à l'entraînement dont le parallélisme de modèle s'étend sur plus d'un serveur à 8 GPU. Nos pages Entraînement IA et Inférence IA présentent l'infrastructure qui l'entoure. La page Goulets d'étranglement de l'entraînement des modèles de fondation explique pourquoi l'interconnexion fixe la limite dès qu'un modèle est réparti, et la page 8 x 270 Go : ce qui tient sur un nœud B300 montre où s'arrête un seul GPU.
Si vous avez besoin de capacité plus tôt, les allocations HGX B300 sont ouvertes, avec des clusters de 64 à 288 nœuds sur un réseau d'interconnexion dédié, décrits sur notre page Clusters GPU. Pour la génération qui suit Blackwell Ultra, voir NVIDIA Vera Rubin, également sur réservation.
Questions des acheteurs
Que signifie « sur réservation » pour le GB300 NVL72 ?
Vous réservez des baies avant leur déploiement. Le calendrier de livraison est convenu dans votre proposition et votre contrat ; nous ne publions pas de dates.
Pouvons-nous louer une partie d'une baie GB300 NVL72 ?
Non. Le GB300 NVL72 est loué en baie complète de 72 GPU et 36 CPU Grace, avec un domaine NVLink qui vous est dédié.
Quel refroidissement le GB300 NVL72 exige-t-il ?
NVIDIA le conçoit comme une baie entièrement refroidie par liquide. Nous ne l'installons que dans un site doté d'un refroidissement liquide direct sur puce et conforme à nos exigences pour les centres de données.
En quoi le GB300 NVL72 diffère-t-il du HGX B300 ?
Les deux utilisent des GPU Blackwell Ultra. Le GB300 NVL72 réunit 72 GPU et des CPU Grace dans un seul domaine NVLink refroidi par liquide, tandis que le HGX B300 réunit 8 GPU par serveur refroidi par air et s'étend horizontalement via un réseau d'interconnexion à 800 Gbit/s par GPU.
Quelles durées de contrat s'appliquent ?
36, 48 ou 60 mois, avec des tarifs plus bas pour les engagements plus longs. Vous versez un acompte à la signature, puis payez un tarif mensuel fixe unique pendant toute la durée du contrat, sans frais de sortie de données.
Louez des serveurs GB300 NVL72 avec un engagement de 36 à 60 mois.
Indiquez-nous le matériel, le nombre de serveurs, la durée d'engagement et la date de début. Vous recevez une proposition écrite fondée sur notre spécification de livraison.