Serveurs GPU NVIDIA dédiés

Nous louons des serveurs GPU dédiés en entier, sur de longues durées d'engagement, et chaque prix figure dans une proposition écrite avant votre signature.

La page Bare metal ou infrastructure GPU partagée explique ce que le matériel dédié change en production.

Le catalogue se répartit en quatre groupes selon l'usage auquel le matériel est destiné : entraînement, systèmes à l'échelle d'une baie, inférence, et graphisme et médias.

Des serveurs A100 80GB SXM, avec huit GPU sur une carte HGX, sont également disponibles sur demande.

Entraînement : HGX B300 et HGX B200

Le HGX B300 est notre gamme principale : huit GPU Blackwell Ultra dotés chacun de 270 Go de HBM3e, soit 2,1 To par serveur, reliés par NVLink de cinquième génération à 1,8 To/s par GPU. Nos clusters GPU de référence sont construits à partir de ce serveur, sur un réseau d'interconnexion de 800 Gbit/s par GPU. Le HGX B200 offre 180 Go de HBM3e par GPU, soit 1 440 Go par serveur, et conserve une capacité de calcul en double précision bien supérieure : NVIDIA annonce 296 TFLOPS en FP64 par carte à 8 GPU, contre 10 TFLOPS pour le HGX B300. Choisissez le B200 lorsque des simulations ou d'autres travaux FP64 partagent le cluster avec l'IA. La page 8 x 270 Go : ce qui tient sur un nœud B300 détaille les cas des modèles 405B et 70B.

Sur réservation : GB300 NVL72 et Vera Rubin

Le GB300 NVL72 est une baie refroidie par liquide qui réunit 72 GPU Blackwell Ultra et 36 CPU Grace dans un seul domaine NVLink, avec 20 To de HBM3e et 130 To/s de bande passante NVLink totale, selon les chiffres de NVIDIA. Vera Rubin est la prochaine plateforme NVIDIA, avec 288 Go de HBM4 par GPU Rubin, et nous avons des serveurs Rubin en commande. Les deux sont proposés sur réservation. Nos exigences envers les sites prévoient une voie d'évolution vers le refroidissement liquide direct sur puce pour le GB300 NVL72 et les systèmes ultérieurs.

Inférence : RTX PRO 6000 Blackwell et L40S

Les serveurs RTX PRO 6000 Blackwell comportent huit GPU dotés chacun de 96 Go de GDDR7, soit 768 Go par serveur, fournis depuis Montréal. Les serveurs L40S comportent huit GPU dotés chacun de 48 Go de GDDR6. Aucune de ces cartes n'a NVLink : les GPU échangent donc leurs données via PCIe, et ces serveurs conviennent aux modèles dont chaque réplique tient sur un ou quelques GPU, comme un modèle 70B en FP8 sur une seule carte de 96 Go. La page 8 x 96 Go : ce qui tient sur un nœud RTX PRO 6000 Blackwell détaille le calcul de mémoire.

Graphisme et médias : cartes GeForce et cartes RTX pour stations de travail

Les serveurs RTX 5090 (32 Go), RTX 4090 (24 Go) et RTX A6000 (48 Go) comportent huit GPU ; les serveurs RTX 4000 Ada (20 Go) et RTX A4000 (16 Go) en comportent quatre.

Chaque serveur porte l'un des trois statuts suivants, qui indiquent où en est son matériel aujourd'hui.

Quatre questions permettent d'affiner le choix : de combien de mémoire chaque GPU a besoin, comment les GPU communiquent entre eux, sur combien de serveurs la tâche s'étend, et quelle est la charge de travail.

Mémoire par GPU

La mémoire détermine ce qui tient. Les poids, plus le cache KV pour l'inférence, ou l'état de l'optimiseur et les activations pour l'entraînement, doivent résider dans la mémoire GPU, et un modèle de 70 milliards de paramètres en FP8 nécessite environ 70 Go pour ses seuls poids. La page 70 Go de poids, quatre GPU montre ce que chaque taille de mémoire laisse au cache KV.

Interconnexion

Lorsqu'un modèle est réparti sur plusieurs GPU, la bande passante entre GPU donne le rythme. Les serveurs HGX B300 et B200 offrent à chaque GPU 1,8 To/s de NVLink et le GB300 NVL72 réunit 72 GPU dans un seul domaine NVLink, tandis que les serveurs PCIe s'appuient sur le bus PCIe : 64 Go/s pour le L40S. Entre serveurs, les clusters HGX B300 utilisent un réseau d'interconnexion optimisé par rails, entièrement non bloquant, à 800 Gbit/s par GPU.

Taille du cluster

Au-delà d'un serveur, nos clusters de référence comptent 64, 128 ou 288 nœuds HGX B300, soit jusqu'à 2 304 GPU sur un seul réseau d'interconnexion dédié, et l'architecture permet d'aller plus loin. Voir Clusters GPU et la spécification de livraison.

Charge de travail