NVIDIA L40S
Huit GPU L40S Ada Lovelace dotés chacun de 48 Go de GDDR6, soit 384 Go par serveur, pour l'inférence de modèles qui tiennent dans 48 Go ainsi que pour le rendu, le graphisme 3D et la vidéo, configurés sur demande.
- GPU par serveur
- 8
- Mémoire par GPU
- 48 Go GDDR6
- FP8 par GPU
- 733 TFLOPS en dense
- Puissance par GPU
- 350 W
Caractéristiques techniques
| GPU | |
|---|---|
| Architecture | NVIDIA Ada Lovelace |
| Mémoire | 48 Go GDDR6 avec ECC |
| Bande passante mémoire | 864 Go/s |
| Cœurs CUDA | 18 176 |
| Cœurs Tensor | 568, quatrième génération |
| Cœurs RT | 142, troisième génération |
| Cœurs Tensor FP8 | 733 TFLOPS en dense, 1 466 TFLOPS avec parcimonie |
| Cœurs Tensor FP16 et BF16 | 362,05 TFLOPS en dense, 733 TFLOPS avec parcimonie |
| Cœurs Tensor TF32 | 183 TFLOPS en dense, 366 TFLOPS avec parcimonie |
| Cœurs Tensor INT8 | 733 TOPS en dense, 1 466 TOPS avec parcimonie |
| FP32 | 91,6 TFLOPS |
| Performances des cœurs RT | 212 TFLOPS |
| Moteurs multimédias | 3 NVENC et 3 NVDEC, avec encodage et décodage AV1 |
| Interconnexion | PCIe Gen4 x16, 64 Go/s ; pas de NVLink |
| Virtualisation | NVIDIA vGPU pris en charge ; MIG non pris en charge |
| Puissance par GPU | 350 W |
| Format | Double emplacement, 4,4 x 10,5 pouces, refroidissement passif |
| Serveur tel que livré | |
|---|---|
| GPU par serveur | 8 |
| Mémoire GPU par serveur | 384 Go (8 x 48 Go) |
| Puissance des cartes GPU par serveur | 2 800 W (8 x 350 W) |
| CPU, mémoire système, stockage et réseau | Configuration selon vos exigences, confirmée dans votre proposition |
Charges de travail types
- Inférence de modèles qui tiennent dans 48 Go par GPU
- Rendu et graphisme 3D
- Traitement vidéo avec encodage et décodage AV1
- IA et graphisme sur un même parc de serveurs
Louez des serveurs dédiés équipés de huit GPU NVIDIA L40S pour l'inférence, le rendu et la vidéo. Les serveurs L40S sont disponibles sur demande : nous nous les procurons et les configurons selon vos exigences, avec un contrat de 36, 48 ou 60 mois.
À qui s'adresse le L40S
Le L40S est le GPU polyvalent de NVIDIA pour centres de données, basé sur l'architecture Ada Lovelace et conçu pour exécuter l'IA et le graphisme sur le même matériel. NVIDIA le qualifie de GPU universel pour centres de données.
Il convient aux équipes qui servent des modèles tenant dans 48 Go par GPU, réalisent des rendus ou exécutent des charges de travail 3D, et traitent de la vidéo, souvent sur un même ensemble de serveurs. Chaque GPU dispose de 48 Go de GDDR6 avec ECC, soit 384 Go par serveur, sur une carte à refroidissement passif conçue pour le flux d'air des serveurs. Comme la même carte assure le rendu et le service des modèles, vous pouvez faire passer des serveurs du graphisme à l'inférence, et inversement, à mesure que votre répartition évolue, sans second parc de matériel.
Ses points forts
Inférence FP8
733 TFLOPS en FP8 dense par GPU (1 466 TFLOPS avec parcimonie) et 362 TFLOPS en BF16 ou FP16 dense, grâce à 568 cœurs Tensor de quatrième génération.
Graphisme et rendu
142 cœurs RT de troisième génération annoncés à 212 TFLOPS, 18 176 cœurs CUDA et 91,6 TFLOPS en FP32.
Vidéo
Trois moteurs NVENC et trois moteurs NVDEC par GPU, avec encodage et décodage AV1, soit 24 encodeurs par serveur.
Puissance
350 W par GPU sur une carte double emplacement, soit 2 800 W de puissance des cartes GPU par serveur à 8 GPU.
La bande passante mémoire est de 864 Go/s par GPU. Le L40S prend en charge le logiciel NVIDIA vGPU mais pas MIG, et ses GPU communiquent via PCIe Gen4 x16 à 64 Go/s, sans NVLink. Il convient mieux aux travaux qui s'exécutent sur un seul GPU, ou se répartissent sur deux ou trois via PCIe, qu'aux modèles qui exigent un trafic constant entre GPU.
Configuration à la livraison
Les serveurs L40S sont configurés selon vos exigences et confirmés dans votre proposition : CPU, mémoire système, NVMe local et réseau. Indiquez-nous si les serveurs exécuteront de l'inférence, du rendu ou les deux, et nous dimensionnons la mémoire de l'hôte et le stockage en fonction de cette répartition.
Chaque serveur est soumis au déverminage avant la mise à disposition, et les résultats figurent dans un rapport de réception. Notre page Déverminage et réception explique comment ce processus remplace un essai.
Comment fonctionne la location
Les serveurs L40S sont disponibles sur demande. Indiquez-nous le nombre de serveurs, la durée d'engagement et la date de début, et nous confirmons la configuration et le calendrier de livraison dans une proposition écrite.
Les contrats durent 36, 48 ou 60 mois, et plus l'engagement est long, plus le tarif est bas. L'entreprise qui utilisera les serveurs remplit trois formulaires d'ouverture de compte avant de signer. Vous versez un acompte à la signature, puis payez un tarif mensuel fixe unique pendant toute la durée du contrat, sans frais de sortie de données. Notre page Comment acheter détaille chaque étape, et notre page Centres de données indique où fonctionnent les serveurs.
Charges de travail et alternatives
Dimensionnez en fonction de la mémoire : les poids, le cache KV et la marge doivent tenir dans 48 Go par GPU. Un modèle de 30 milliards de paramètres en FP8 tient sur un seul L40S ; un modèle 70B en FP8 nécessite environ 70 Go pour ses seuls poids et s'étend donc sur deux GPU.
Laissez de la place pour le cache KV, qui grossit avec la longueur du contexte et le nombre de requêtes simultanées. Pour un modèle 70B, il occupe environ 0,33 Mo par jeton, soit environ 2,7 Go pour une séquence de 8K jetons : deux GPU L40S contenant 70 Go de poids FP8 conservent donc environ 26 Go pour le cache et la marge.
Notre page Inférence IA traite du service de modèles sur serveurs dédiés, et la page Médias et divertissement du rendu et de la vidéo. Les pages Inférence de LLM sur bare metal dédié et 70 Go de poids, quatre GPU expliquent la règle de dimensionnement.
Si vous avez besoin de plus de mémoire par GPU ou du FP4, la RTX PRO 6000 Blackwell offre 96 Go par GPU, avec des allocations ouvertes à Montréal. Pour les travaux à dominante graphique avec 48 Go et des ponts NVLink entre paires de cartes, voir la RTX A6000.
Questions des acheteurs
L40S ou RTX PRO 6000 Blackwell : lequel louer ?
La RTX PRO 6000 Blackwell offre deux fois plus de mémoire par GPU (96 Go contre 48 Go), la prise en charge du FP4 et des allocations ouvertes à Montréal. Le L40S convient aux travaux qui tiennent largement dans 48 Go par GPU.
Que peut-on faire tenir dans 48 Go ?
Un modèle dont les poids, le cache KV et la marge tiennent dans 48 Go. Un modèle de 30 milliards de paramètres en FP8 nécessite environ 30 Go pour ses poids et tient sur un seul GPU ; un modèle 70B en FP8 nécessite environ 70 Go et s'étend donc sur deux GPU.
Le L40S prend-il en charge MIG ou NVLink ?
Ni l'un ni l'autre, selon NVIDIA. Le L40S prend en charge le logiciel NVIDIA vGPU, et ses GPU communiquent via PCIe Gen4 x16.
Dans quel délai pouvons-nous obtenir des serveurs L40S ?
Les serveurs L40S sont disponibles sur demande. Votre proposition écrite indique le calendrier de livraison pour la quantité dont vous avez besoin.
Quelles durées de contrat sont proposées ?
36, 48 ou 60 mois, avec des tarifs plus bas pour les engagements plus longs. Vous versez un acompte à la signature, puis payez un tarif mensuel fixe unique pendant toute la durée du contrat, sans frais de sortie de données.
Louez des serveurs L40S avec un engagement de 36 à 60 mois.
Indiquez-nous le matériel, le nombre de serveurs, la durée d'engagement et la date de début. Vous recevez une proposition écrite fondée sur notre spécification de livraison.