NVIDIA L40S

Die L40S ist die Allzweck-GPU von NVIDIA für Rechenzentren auf Basis der Ada Lovelace-Architektur, gebaut, um KI und Grafik auf derselben Hardware auszuführen. NVIDIA bezeichnet sie als universelle Rechenzentrums-GPU.

Sie eignet sich für Teams, die Modelle bereitstellen, welche in 48 GB pro GPU passen, die rendern oder 3D-Workloads ausführen und die Video verarbeiten, oft auf ein und denselben Servern. Jede GPU hat 48 GB GDDR6 mit ECC, 384 GB pro Server, auf einer passiv gekühlten Karte, die für den Luftstrom im Server gebaut ist. Weil dieselbe Karte rendert und Modelle bereitstellt, können Sie Server zwischen Grafik- und Inferenzaufgaben verschieben, wenn sich Ihr Mix ändert, ohne eine zweite Hardwareausstattung.

Die Speicherbandbreite beträgt 864 GB/s pro GPU. Die L40S unterstützt die Software NVIDIA vGPU, aber nicht MIG, und ihre GPUs sind über PCIe Gen4 x16 mit 64 GB/s angebunden, ohne NVLink. Sie eignet sich besser für Arbeit, die auf einer GPU läuft oder sich über PCIe auf zwei oder drei GPUs verteilt, als für Modelle, die ständigen Verkehr zwischen den GPUs brauchen.

L40S-Server werden nach Ihren Anforderungen konfiguriert und in Ihrem Angebot bestätigt: CPU, Arbeitsspeicher, lokaler NVMe-Speicher und Netzwerk. Teilen Sie uns mit, ob die Server Inferenz, Rendering oder beides ausführen sollen, und wir dimensionieren Hostspeicher und Storage für diesen Mix.

Jeder Server durchläuft vor der Übergabe ein Burn-in, und die Ergebnisse fließen in einen Abnahmebericht ein. Unsere Seite Burn-in und Abnahme erklärt, wie dies eine Testphase ersetzt.

L40S-Server sind auf Anfrage erhältlich. Nennen Sie uns die Zahl der Server, die Laufzeit und das Startdatum, und wir bestätigen Konfiguration und Lieferplan in einem schriftlichen Angebot.

Verträge laufen 36, 48 oder 60 Monate, und längere Laufzeiten bedeuten niedrigere Preise. Das Unternehmen, das die Server nutzen wird, füllt vor der Unterzeichnung drei Onboarding-Formulare aus. Sie leisten bei Unterzeichnung eine Anzahlung und zahlen danach für die gesamte Laufzeit einen festen Monatspreis, ohne Egress-Gebühren. Unsere Seite So mieten Sie beschreibt jeden Schritt, und unsere Seite Rechenzentren nennt die Standorte der Server.

Dimensionieren Sie nach Speicher: Gewichte, KV-Cache und Reserve müssen in 48 GB pro GPU passen. Ein Modell mit 30B Parametern in FP8 passt auf eine L40S; ein 70B-Modell in FP8 benötigt allein für seine Gewichte etwa 70 GB und erstreckt sich daher über zwei GPUs.

Planen Sie Platz für den KV-Cache ein, der mit Kontextlänge und Parallelität wächst. Bei einem 70B-Modell kostet er etwa 0,33 MB pro Token, also etwa 2,7 GB für eine 8K-Token-Sequenz, sodass zwei L40S-GPUs mit 70 GB FP8-Gewichten etwa 26 GB für Cache und Reserve behalten.

Unsere Seite KI-Inferenz behandelt die Bereitstellung von Modellen auf dedizierten Servern, und Medien und Unterhaltung behandelt Rendering und Video. LLM-Inferenz auf dediziertem Bare Metal und 70 GB Gewichte, vier GPUs erklären die Regel für die Dimensionierung.

Wenn Sie mehr Speicher pro GPU oder FP4 benötigen: Die RTX PRO 6000 Blackwell hat 96 GB pro GPU, und in Montreal sind Kontingente verfügbar. Für grafikorientierte Arbeit mit 48 GB und NVLink-Brücken zwischen Kartenpaaren siehe RTX A6000.