Dedizierte GPU-Server für KI-Inferenz
Ganze NVIDIA-Server ohne Hypervisor und ohne anderen Mandanten, dimensioniert nach dem Speicher, den Ihr Modell und sein KV-Cache brauchen: 48 GB, 96 GB oder 270 GB pro GPU.
1Legion vermietet GPU-Server für KI-Inferenz als ganze Maschinen: acht NVIDIA-GPUs, die nur Ihren Traffic bedienen, ohne Hypervisor zwischen Ihrem Serving-Stack und der Hardware. Sie wählen einen Server nach dem Speicher pro GPU, denn die Gewichte und der KV-Cache jeder laufenden Anfrage müssen darauf passen.
Dedizierte Inferenzserver halten die Latenz vorhersagbar
Auf einem dedizierten Server konkurrieren nur Ihre eigenen Anfragen um GPU-Speicher und Speicherbandbreite.
Bei einem dichten Modell liest die Erzeugung jedes Tokens alle Gewichte aus dem GPU-Speicher, daher bestimmt die Speicherbandbreite die Decode-Geschwindigkeit. Ein Modell mit 70B Parametern umfasst in FP8 70 GB an Gewichten, und eine HGX B300-GPU liest ihren Speicher mit 7,7 TB/s. Damit liegt die Obergrenze für eine einzelne Sequenz bei etwa 110 Tokens pro Sekunde, noch vor den Lesezugriffen auf den KV-Cache. Batching bedient viele Sequenzen mit demselben Lesevorgang. Auf geteilter Hardware verschiebt die Last eines anderen Mandanten diese Obergrenze. Bei uns gibt es nur einen Mandanten und keinen Hypervisor, und Änderungen auf unserer Seite folgen einem schriftlichen Change-Management mit einer Vorankündigung von mindestens 7 Tagen bei risikoreicher Wartung. Unser Beitrag dazu, warum LLM-Inferenz auf geteilter GPU-Infrastruktur versagt, erläutert die Mechanismen.
Hardware für LLM-Inferenz, dimensioniert nach Gewichten und KV-Cache
Der Speicherbedarf ergibt sich aus den Gewichten des Modells plus dem KV-Cache jeder gleichzeitigen Sequenz, plus Reserve für Aktivierungen und die Laufzeitumgebung.
Gewichte belegen 2 Byte pro Parameter in FP16 oder BF16, 1 Byte in FP8 und ein halbes Byte in FP4, ein Modell mit 70B Parametern braucht also 140 GB, 70 GB oder 35 GB. Der KV-Cache wächst mit jedem Token in Bearbeitung: Ein Modell der Klasse Llama 3 70B mit 80 Schichten und 8 KV-Heads speichert bei 16-Bit-Genauigkeit etwa 0,33 MB pro Token, also etwa 10,7 GB für eine Sequenz mit 32.768 Tokens.
| 70B-Modell in FP8, eine GPU | Freier Speicher nach den Gewichten | Gleichzeitige 8K-Sequenzen | Gleichzeitige 32K-Sequenzen |
|---|---|---|---|
| HGX B300, 270 GB | etwa 200 GB | etwa 74 | etwa 18 |
| RTX PRO 6000 Blackwell, 96 GB | etwa 26 GB | etwa 9 | etwa 2 |
Das sind Obergrenzen, die weder Aktivierungen noch Framework-Overhead berücksichtigen und einen 16-Bit-KV-Cache voraussetzen. Eine Quantisierung des Caches erhöht sie. Durchgerechnet wird das im Beitrag Was bei 96 und 270 GB für den KV-Cache bleibt.
Welcher Server zu welchem Modell passt
Mit HGX B300 stellen Sie die größten Modelle und längsten Kontexte bereit, mit RTX PRO 6000 Blackwell Modelle der 70B-Klasse in FP8 oder FP4 und mit L40S kleinere Modelle.
HGX B300
270 GB HBM3e pro GPU mit 7,7 TB/s und 2,1 TB pro Server. Ein Modell mit 405B Parametern in FP4, etwa 203 GB, passt auf eine GPU, und für den Cache bleiben etwa 67 GB. Kontingent verfügbar, in Toronto.
RTX PRO 6000 Blackwell
96 GB GDDR7 mit ECC pro GPU und 768 GB pro Server, mit FP8 und FP4 auf Tensor-Kernen der fünften Generation. Ein 70B-Modell in FP4 lässt pro GPU etwa 61 GB für den Cache frei. Kontingent verfügbar, in Montreal.
L40S
48 GB GDDR6 mit ECC pro GPU mit 864 GB/s, 384 GB pro Server und 733 TFLOPS FP8 ohne Sparsity. Ein Modell mit 8B Parametern belegt in FP16 16 GB und lässt etwa 32 GB für den Cache frei. Auf Anfrage.
Wenn ein Modell mehr Speicher braucht, als ein Server hat, vereint GB300 NVL72 72 GPUs und 20 TB HBM3e in einer NVLink-Domäne mit 130 TB/s NVLink-Bandbreite, nach Reservierung.
Ein Replikat pro GPU, acht pro Server
Ein 8-GPU-Server besteht aus acht getrennten Speicherpools, deshalb läuft bei den meisten Deployments ein Modellreplikat pro GPU hinter einem Load Balancer.
Bei HGX B300 können das acht Replikate eines 70B-Modells in FP8 sein, die jeweils etwa 18 Sequenzen mit 32K Tokens halten, oder vier Replikate mit je zwei GPUs eines 405B-Modells in FP8 über NVLink mit 1,8 TB/s pro GPU. RTX PRO 6000 Blackwell-GPUs sind über PCIe 5.0 x16 statt über NVLink verbunden, daher eignen sich für sie Replikate pro GPU: acht 70B-Replikate in FP4 oder vier GPUs für die Bereitstellung, während vier das Fine-Tuning der nächsten Version übernehmen. Ihre Speicherbandbreite beträgt etwa ein Fünftel derjenigen einer B300-GPU, daher eignen sie sich eher für Bereitstellung mit Batching als für die niedrigste Latenz bei einzelnen Streams. Für kleine Modelle teilt MIG eine RTX PRO 6000 in bis zu vier Instanzen mit 24 GB auf und eine B300-GPU in bis zu sieben. Unsere Beiträge Was auf einen B300-Knoten passt und Was auf einen RTX PRO 6000-Knoten passt zeigen die Aufteilungen.
Öffentlichen Traffic über das Edge-Netzwerk bedienen
Bei HGX B300-Clustern, die nach unserer Lieferspezifikation gebaut sind, ist das Edge-Netzwerk für öffentliche Inferenz-Endpunkte ausgelegt.
- Zwei unabhängige Transit-Provider mit 100 Gbit/s pro Leitung, auf physisch getrennten Wegen, mit eBGP und BFD.
- Dedizierte öffentliche Service-Adressen, typischerweise acht, wobei Ihre VIPs über BGP angekündigt werden, Failover innerhalb von 5 Sekunden und IPv6-Dual-Stack.
- Volumetrisches DDoS-Scrubbing auf Layer 3 und 4 mit mindestens 1 Tbit/s, aktiviert über BGP innerhalb von 5 Minuten.
- Ein redundantes NAT-Paar mit mindestens 10 Millionen gleichzeitigen Sitzungen und dedizierten SNAT-Adressen.
- Ihr eigener IP-Adressraum und Ihre eigene ASN, wobei RPKI-ROAs beachtet werden.
Das vollständige Design steht auf der Seite Storage und Netzwerk, und die Bereitstellung auf B300 behandelt der Beitrag B300 für Inferenz in der Produktion.
Wo Inferenzserver laufen
HGX B300 läuft in Toronto, RTX PRO 6000 Blackwell und andere Inferenzserver laufen in Montreal.
Toronto
In BetriebNVIDIA HGX B300-Server und Cluster.
Montreal
In BetriebRTX PRO 6000 Blackwell und weitere Inferenzserver, mit technischem Support vor Ort.
Delaware
Inbetriebnahme läuftHGX B300-Kapazität für Kunden, die ihre Rechenleistung in den USA benötigen.
Helsinki
In EntwicklungEin Brownfield-Standort für ein Rechenzentrum, in Entwicklung für künftige Kapazität in Europa.
Partnernetzwerk: 49 Rechenzentren in 26 Städten in Nordamerika, Europa, Afrika und Australien. Alle Standorte ansehen
HGX B300-Kapazität in Delaware, USA, wird in Betrieb genommen. Wenn Ihre Daten in Kanada bleiben müssen, wählen Sie Toronto oder Montreal. Siehe unsere Rechenzentren und GPU-Cloud in Kanada.
So funktioniert die Miete von Inferenzservern
Inferenzserver werden komplett für 36, 48 oder 60 Monate gemietet, zu einem festen Monatspreis, der in einem schriftlichen Angebot festgelegt wird, ohne Egress-Gebühren für den Traffic, den Ihre Endpunkte senden.
Sie leisten bei Unterzeichnung eine Anzahlung und zahlen danach monatlich über die Laufzeit, und längere Laufzeiten bedeuten niedrigere Preise. Die Seite So mieten Sie erklärt die Onboarding-Formulare und den Vertrag.
Was Kunden fragen
Können wir eine einzelne GPU für Inferenz mieten?
Nein. Wir vermieten ganze Server mit jeweils acht GPUs. Mit einem Modellreplikat pro GPU oder mit MIG-Instanzen können Sie mehrere Modelle auf einem Server betreiben.
Welcher Server passt zu einem 70B-Modell?
RTX PRO 6000 Blackwell fasst ein 70B-Modell in FP8 oder FP4 auf einer GPU mit 96 GB. Für lange Kontexte oder hohe Parallelität lässt HGX B300 nach den FP8-Gewichten etwa 200 GB pro GPU für den KV-Cache frei.
Berechnen Sie pro Token, pro Anfrage oder für Egress?
Nein. Sie zahlen über die Laufzeit einen festen Monatspreis für die Server, und es fallen keine Egress-Gebühren an.
Können wir unser Modell vor der Unterzeichnung benchmarken?
Wir bieten keine Testphasen oder Proofs of Concept an. Unser Technikteam dimensioniert den Server gemeinsam mit Ihnen anhand der Gewichte Ihres Modells, der Kontextlänge und der Parallelität, und jeder Cluster durchläuft vor der Übergabe ein Burn-in, dessen Ergebnisse in einem Abnahmebericht stehen.
Wo stehen Ihre Inferenzserver?
HGX B300-Server stehen in Toronto, RTX PRO 6000 Blackwell und andere Inferenzserver in Montreal. HGX B300-Kapazität in Delaware, USA, wird in Betrieb genommen.
Welche Serving-Software können wir betreiben?
Die Server sind Bare Metal, Sie installieren also Ihren eigenen Stack, zum Beispiel vLLM, SGLang oder TensorRT-LLM. Wir können darunter auch Managed Kubernetes installieren und betreiben.
Inferenzserver für Ihr Modell dimensionieren
Nennen Sie uns das Modell, die Genauigkeit, die Kontextlänge und den erwarteten Traffic, und wir antworten mit einem schriftlichen Angebot.