NVIDIA HGX B300
Huit GPU Blackwell Ultra dotés chacun de 270 Go de HBM3e et de 800 Gbit/s de réseau par GPU, loués en serveurs complets ou en clusters dédiés, construits selon notre spécification de livraison publiée.
- GPU par serveur
- 8
- Mémoire par GPU
- 270 Go HBM3e
- FP4 par serveur
- 108 PFLOPS en dense
- Réseau par GPU
- 800 Gbit/s
À l'intérieur d'un serveur HGX B300
Ce que vous louez, pièce par pièce.
-
Un serveur, un client
Les GPU, les CPU, la mémoire, les disques et les ports réseau du châssis sont réservés à un seul client pendant toute la durée du contrat. Rien n'y est partagé.
-
Huit GPU Blackwell Ultra
Huit GPU SXM sur une même carte de base, dotés chacun de 270 Go de HBM3e à 7,7 To/s. Soit 2,1 To de mémoire GPU dans un seul serveur.
-
Un seul domaine NVLink
Le NVLink de cinquième génération relie les huit GPU à 1,8 To/s par GPU, soit 14,4 To/s sur l'ensemble du serveur, de sorte qu'un modèle peut s'étendre sur toute la carte.
-
800 Gbit/s par GPU
Chaque GPU dispose de son propre port à 800 Gbit/s vers le réseau d'interconnexion du cluster, de préférence NVIDIA ConnectX-8, sur un réseau optimisé par rails qu'aucun autre client n'utilise.
-
Disques et refroidissement par air
Au moins 9,2 To de NVMe brut pour les données se trouvent à l'avant, dans un châssis refroidi par air construit selon notre spécification de livraison.
Caractéristiques techniques
| GPU | |
|---|---|
| Plateforme | NVIDIA HGX B300, 8 GPU SXM sur une même carte de base |
| Architecture | NVIDIA Blackwell Ultra |
| Mémoire par GPU | 270 Go HBM3e (spécification NVIDIA HGX B300) |
| Mémoire GPU par serveur | 2,1 To HBM3e (8 x 270 Go, selon NVIDIA) |
| Bande passante mémoire par GPU | 7,7 To/s |
| Cœurs Tensor FP4, 8 GPU | 144 PFLOPS avec parcimonie, 108 PFLOPS en dense |
| Cœurs Tensor FP8 et FP6, 8 GPU | 72 PFLOPS avec parcimonie |
| Cœurs Tensor FP16 et BF16, 8 GPU | 36 PFLOPS avec parcimonie |
| Cœurs Tensor TF32, 8 GPU | 18 PFLOPS avec parcimonie |
| FP32, 8 GPU | 600 TFLOPS |
| FP64, 8 GPU | 10 TFLOPS |
| NVLink | Cinquième génération, 1,8 To/s par GPU, 14,4 To/s par serveur |
| PCIe | Gen6, 256 Go/s |
| Puissance par GPU | Configurable, jusqu'à 1 100 W |
| GPU multi-instance | Jusqu'à 7 instances par GPU |
| Serveur tel que livré | |
|---|---|
| CPU | Au moins 128 vCPU |
| Mémoire système | 3 To de préférence, au moins 1,92 To (240 Go par GPU) |
| Stockage de démarrage | 2 x 1 To NVMe, en miroir (de préférence) |
| Stockage local des données | Au moins 9,2 To de NVMe brut |
| Refroidissement | Refroidissement par air |
| Puissance prévisionnelle | Environ 14 kW par serveur (hypothèse de travail) |
| Réseau | |
|---|---|
| Réseau dorsal | 800 Gbit/s par GPU (1 x 800, 2 x 400 ou 4 x 200 Gbit/s), NVIDIA ConnectX-8 de préférence |
| Réseau frontal | NVIDIA BlueField-3, 2 x 400 Gbit/s de préférence, 2 x 200 Gbit/s au minimum |
| Réseau d'interconnexion est-ouest | Optimisé par rails, entièrement non bloquant, dédié à un seul client |
| Commutation du réseau d'interconnexion | NVIDIA Spectrum-X ou Broadcom Tomahawk 6 de préférence ; NVIDIA Quantum InfiniBand ou Tomahawk 5 acceptés |
| Nord-sud | 400 Gbit/s par nœud de préférence, 200 Gbit/s au minimum, RoCEv2, MTU 9000 |
Charges de travail types
- Pré-entraînement et post-entraînement de grands modèles
- Apprentissage par renforcement et réglage fin à l'échelle d'un cluster
- Inférence pour les modèles de raisonnement et à mélange d'experts à contextes longs
Louez des serveurs NVIDIA HGX B300 sous forme de nœuds complets à 8 GPU, ou en cluster sur un réseau d'interconnexion qu'aucun autre client ne partage. Chaque serveur est construit selon notre spécification de livraison publiée, soumis au déverminage avant la mise à disposition et loué avec un contrat de 36, 48 ou 60 mois à un tarif mensuel fixe unique.
À qui s'adresse le HGX B300
Le HGX B300 s'adresse aux équipes dont les modèles ont dépassé les 80 à 180 Go par GPU. Chaque GPU dispose de 270 Go de HBM3e, soit 2,1 To par serveur : un modèle de 70 milliards de paramètres en FP8 (environ 70 Go de poids) laisse donc environ 200 Go sur un seul GPU pour le cache KV et le traitement par lots.
Les laboratoires d'IA le louent pour des pré-entraînements et post-entraînements qui durent des semaines. Les équipes d'inférence le louent pour servir des modèles de raisonnement et à mélange d'experts à contextes longs. C'est la principale gamme de capacité de 1Legion, et le serveur autour duquel est rédigée notre spécification de livraison HGX B300.
Ses points forts
La mémoire et la bande passante par GPU distinguent le HGX B300.
NVIDIA annonce 7,7 To/s de bande passante mémoire par GPU, ce qui plafonne la vitesse de décodage des grands modèles. La carte à 8 GPU fournit 108 PFLOPS en FP4 dense (144 PFLOPS avec parcimonie), contre 72 PFLOPS en dense sur un HGX B200, et 72 PFLOPS en FP8 avec parcimonie. Le NVLink de cinquième génération offre à chaque GPU 1,8 To/s vers les sept autres, soit 14,4 To/s sur l'ensemble du serveur, et chaque GPU dispose de son propre port à 800 Gbit/s vers le réseau d'interconnexion du cluster.
La contrepartie est la double précision. NVIDIA annonce 10 TFLOPS en FP64 pour la carte : le HGX B300 est donc un serveur pour les formats numériques de l'IA, pas pour la simulation FP64.
Configuration à la livraison
La configuration provient de notre spécification de livraison, 1LG-DEL-SPEC-2026-001. Toute modification apportée par votre proposition est listée comme un écart numéroté, ce qui vous permet de voir en quoi vos serveurs diffèrent de la configuration de référence publiée.
- CPU et mémoire : au moins 128 vCPU, et 3 To de mémoire système de préférence, jamais moins de 240 Go par GPU (1,92 To).
- Stockage local : de préférence une paire en miroir de disques de démarrage NVMe de 1 To, plus au moins 9,2 To de NVMe brut pour les données, soit plus de quatre fois la mémoire GPU.
- Réseau : 800 Gbit/s par GPU sur le réseau dorsal, de préférence avec NVIDIA ConnectX-8, et NVIDIA BlueField-3 sur le réseau frontal, de préférence à 2 x 400 Gbit/s et au minimum à 2 x 200 Gbit/s.
- Refroidissement et alimentation : refroidissement par air, comme le recommande le fabricant à l'échelle d'un cluster. Nous prévoyons une puissance d'environ 14 kW par serveur.
Options de cluster HGX B300
Un cluster 1Legion est dédié à un seul client, jusqu'aux commutateurs. Nos trois tailles de référence utilisent le même serveur :
| Élément | 64 nœuds | 128 nœuds | 288 nœuds |
|---|---|---|---|
| Nœuds GPU (8 GPU chacun) | 64 | 128 | 288 |
| GPU | 512 | 1 024 | 2 304 |
| Nœuds CPU | 24 | 48 | 108 |
| Nœuds du plan de contrôle | 6 | 6 | 6 |
| Stockage, option système de stockage (capacité utile) | 512 To | 1 024 To | 2 304 To |
| Stockage, option nœuds de stockage | 9 nœuds | 17 nœuds | 38 nœuds |
| Charge informatique estimée | environ 0,98 MW | environ 1,95 MW | environ 4,39 MW |
Le réseau d'interconnexion est-ouest est optimisé par rails et entièrement non bloquant à 800 Gbit/s par GPU, de préférence sur NVIDIA Spectrum-X ou Broadcom Tomahawk 6. Les nœuds CPU exécutent les services autour des GPU, et le stockage est soit un système de stockage géré par le fournisseur, avec au moins 1 To utile par GPU, soit des nœuds de stockage pour votre propre logiciel. Notre page Clusters GPU dédiés traite de la conception et de la livraison, et la page Stockage et réseau du réseau de bordure, de la protection anti-DDoS et de votre propre espace d'adressage IP.
Comment fonctionne la location
Les allocations HGX B300 sont ouvertes. Vous louez des serveurs complets, et chaque prix figure dans une proposition écrite.
Demande et proposition
Indiquez-nous combien de serveurs il vous faut, pour combien de temps et à partir de quand. Nous vous répondons par des questions ou par une proposition écrite.
Ouverture de compte et contrat
L'entreprise qui utilisera les serveurs remplit trois formulaires d'ouverture de compte, signe un contrat de 36, 48 ou 60 mois et verse l'acompte. Plus l'engagement est long, plus le tarif est bas.
Construction et déverminage
Nous construisons selon la spécification de livraison et exécutons les tests de validation matérielle HW-1 à HW-5 de NVIDIA. Les résultats figurent dans votre rapport de réception.
Exploitation
La facturation est mensuelle, à un tarif fixe unique pendant toute la durée du contrat, sans frais de sortie de données. Vous travaillez avec nos ingénieurs dans un canal Slack partagé, avec un responsable technique de compte attitré, selon nos engagements d'exploitation.
La capacité HGX B300 se trouve à Toronto, en service, et au Delaware, aux États-Unis, en cours de mise en service. Les allocations plus importantes peuvent exiger une garantie de paiement, comme une garantie bancaire ou une lettre de crédit. Notre page Comment acheter explique chaque étape.
Charges de travail et alternatives
Choisissez le HGX B300 lorsque la mémoire par GPU ou la bande passante entre GPU est votre facteur limitant : longs pré-entraînements, post-entraînement et apprentissage par renforcement, et inférence de modèles qui nécessitent plus de 180 Go par GPU. Nos pages Entraînement IA et Inférence IA présentent le reste de la pile, et deux articles détaillent les chiffres : 8 x 270 Go : ce qui tient sur un nœud B300 et B300 pour les laboratoires de modèles d'IA.
Si vos travaux nécessitent du FP64 ou tiennent dans 180 Go par GPU, envisagez le HGX B200. Si vous avez besoin de 72 GPU dans un seul domaine NVLink, des baies GB300 NVL72 sont disponibles sur réservation.
Questions des acheteurs
Combien de serveurs HGX B300 pouvons-nous louer ?
D'un seul serveur à 8 GPU à un cluster dédié. Nos clusters de référence comptent 64, 128 et 288 nœuds (de 512 à 2 304 GPU), et l'architecture permet d'aller au-delà. Voir Clusters GPU dédiés.
Pouvons-nous tester un serveur HGX B300 avant de signer ?
Nous ne réalisons ni essais ni preuves de concept. Chaque cluster réussit les tests de validation matérielle HW-1 à HW-5 de NVIDIA avant la mise à disposition, et vous recevez les résultats dans un rapport de réception. Voir Déverminage et réception.
Où les serveurs HGX B300 sont-ils hébergés ?
À Toronto, au Canada, en service, et au Delaware, aux États-Unis, en cours de mise en service. Votre proposition précise le site.
Quelles durées de contrat sont proposées ?
36, 48 ou 60 mois, avec des tarifs plus bas pour les engagements plus longs. Vous versez un acompte à la signature, puis payez un tarif mensuel fixe unique pendant toute la durée du contrat, sans frais de sortie de données.
Le HGX B300 convient-il à la simulation FP64 ?
Non. NVIDIA annonce 10 TFLOPS en FP64 pour un HGX B300 à 8 GPU, contre 296 TFLOPS pour un HGX B200. Pour les travaux à forte composante FP64, envisagez le HGX B200.
Pouvez-vous exploiter Kubernetes ou Slurm sur le cluster pour nous ?
Oui, en option. Nous installons, exploitons, mettons à niveau et surveillons Kubernetes avec les NVIDIA GPU Operator et Network Operator, ou Slurm géré, avec un prix qui s'ajoute à celui de la location dans votre proposition. Voir Kubernetes géré.
Louez des serveurs B300 avec un engagement de 36 à 60 mois.
Indiquez-nous le matériel, le nombre de serveurs, la durée d'engagement et la date de début. Vous recevez une proposition écrite fondée sur notre spécification de livraison.