Serveurs GPU dédiés pour l'inférence IA

Sur un serveur dédié, les seules requêtes qui se disputent la mémoire GPU et la bande passante mémoire sont les vôtres.

Pour un modèle dense, générer chaque jeton implique de lire tous ses poids depuis la mémoire GPU : c'est donc la bande passante mémoire qui fixe la vitesse de décodage. Un modèle de 70 milliards de paramètres en FP8 représente 70 Go de poids, et un GPU HGX B300 lit sa mémoire à 7,7 To/s, ce qui place le plafond pour une séquence unique autour de 110 jetons par seconde, avant les lectures du cache KV. Le traitement par lots sert de nombreuses séquences à partir de la même lecture. Sur du matériel partagé, la charge d'un autre locataire déplace ce plafond. Sur le nôtre, il n'y a qu'un locataire et aucun hyperviseur, et les changements de notre côté suivent une gestion des changements écrite, avec un préavis d'au moins 7 jours pour toute maintenance à risque élevé. Notre article Pourquoi l'inférence LLM échoue sur une infrastructure GPU partagée en détaille les mécanismes.

Un serveur à 8 GPU représente huit espaces mémoire distincts : la plupart des déploiements exécutent donc une réplique du modèle par GPU derrière un répartiteur de charge.

Sur HGX B300, cela peut représenter huit répliques d'un modèle 70B en FP8, chacune gérant environ 18 séquences de 32K jetons, ou quatre répliques sur deux GPU d'un modèle 405B en FP8, reliées par NVLink à 1,8 To/s par GPU. Les GPU RTX PRO 6000 Blackwell sont reliés en PCIe 5.0 x16 et non par NVLink : les répliques par GPU leur conviennent donc, par exemple huit répliques 70B en FP4, ou quatre GPU pour l'inférence pendant que quatre autres effectuent le réglage fin de la version suivante. Leur bande passante mémoire représente environ un cinquième de celle d'un GPU B300 : ils conviennent donc mieux à l'inférence par lots qu'à la latence la plus faible sur un flux unique. Pour les petits modèles, MIG divise un RTX PRO 6000 en jusqu'à quatre instances de 24 Go, et un GPU B300 en jusqu'à sept. Nos articles Ce qui tient sur un nœud B300 et Ce qui tient sur un nœud RTX PRO 6000 présentent les configurations.

Sur les clusters HGX B300 construits selon notre spécification de livraison, le réseau de bordure est conçu pour des points de terminaison d'inférence publics.

• Deux fournisseurs de transit indépendants à 100 Gbit/s par circuit, sur des chemins physiquement distincts, avec eBGP et BFD.
• Des adresses publiques de service dédiées, généralement huit, avec vos VIP annoncées par BGP, un basculement dans un délai de 5 secondes et la double pile IPv6.
• Un filtrage anti-DDoS volumétrique des couches 3 et 4 d'au moins 1 Tbit/s, activé par BGP dans un délai de 5 minutes.
• Une paire NAT redondante prenant en charge au moins 10 millions de sessions simultanées, avec des adresses SNAT dédiées.
• Votre propre espace d'adressage IP et votre ASN, avec respect de vos ROA RPKI.

L'architecture complète est décrite sur la page Stockage et réseau, et l'inférence sur B300 est traitée dans B300 pour l'inférence en production.

Les serveurs d'inférence sont loués en entier pour 36, 48 ou 60 mois, à un tarif mensuel fixe unique défini dans une proposition écrite, sans frais de sortie de données sur le trafic qu'envoient vos points de terminaison.

Vous versez un acompte à la signature, puis payez chaque mois pendant la durée du contrat, et plus l'engagement est long, plus le tarif est bas. La page Comment acheter explique les formulaires d'ouverture de compte et le contrat.