Hardware passend zum Workload
Der richtige Server hängt davon ab, was er im Speicher halten muss und wie weit seine Kommunikation reichen muss. Diese Seiten ordnen NVIDIA-Server vier Arten von Workloads zu.
1Legion vermietet dedizierte NVIDIA-GPU-Server für vier Arten von Workloads. Jede der folgenden Seiten erklärt, welche Server passen, was über die Größe entscheidet und wo sie laufen.
Vier Workloads
Bei jedem Workload steht eine andere Grenze an erster Stelle: die Fabric beim Training, der Speicher bei der Inferenz, Encoder und Treiber bei Medien und der Speicher für Auflösung und Länge bei der KI-Videogenerierung.
KI-Training
Lange Trainingsläufe brauchen Hardware, die ein Burn-in durchlaufen hat, und eine nicht blockierende Fabric. HGX B300-Cluster mit 64 bis 288 Knoten und HGX B200-Server, dazu GB300 NVL72 und Vera Rubin nach Reservierung.
KI-Inferenz
Dedizierte Server halten die Latenz vorhersagbar. Dimensionieren Sie nach Gewichten plus KV-Cache: 270 GB pro GPU bei B300, 96 GB bei RTX PRO 6000 Blackwell, 48 GB bei L40S.
Medien und Unterhaltung
Rendering, VFX, virtuelle Produktion und Transcoding auf ganzen Servern, ohne Egress-Gebühren für die Übertragung großer Mediendaten.
KI-Videogenerierung
Diffusions-Pipelines wie ComfyUI, bei denen der GPU-Speicher über Auflösung, Clip-Länge und Batch-Größe entscheidet.
So dimensionieren wir einen Server
Vier Fragen entscheiden über die Hardware, und ein Angebot beantwortet jede davon schriftlich.
- Was in den GPU-Speicher passen muss: die Gewichte, der KV-Cache oder die Aktivierungen und Reserve für die Laufzeitumgebung.
- Wie weit die GPUs kommunizieren müssen: innerhalb eines Servers über NVLink oder über einen Cluster hinweg über eine Fabric mit 800 Gbit/s pro GPU.
- Wie viele Server und wie lange: ganze Server mit Laufzeiten von 36, 48 oder 60 Monaten, mit niedrigeren Preisen für längere Laufzeiten.
- Wo sie laufen: Toronto und Montreal sind in Betrieb, Delaware wird in Betrieb genommen, Finnland ist in Entwicklung, und unser Partnernetzwerk umfasst weitere Städte auf vier Kontinenten.
Unser GPU-Serverkatalog listet jedes Modell auf, das wir einsetzen, und die Lieferspezifikation legt fest, wie HGX B300-Cluster aufgebaut werden.
Was Kunden fragen
Wie entscheiden Sie, welcher GPU-Server zu unserem Workload passt?
Wir beginnen beim Speicher: Modellgewichte, KV-Cache oder Aktivierungen und Reserve. Danach kommen Interconnect, Clustergröße und Standort. Eine Angebotsanfrage mit Ihren Modellgrößen und Ihrem Traffic genügt für den Anfang.
Kann ein Vertrag Trainings- und Inferenzserver kombinieren?
Ja. Ein Angebot kann HGX B300-Server für das Training und RTX PRO 6000 Blackwell-Server für die Inferenz umfassen, jeweils mit Laufzeiten von 36, 48 oder 60 Monaten.
Vermieten Sie GPUs stundenweise für einen Test?
Nein. Wir vermieten ganze Server mit Laufzeiten von 36 bis 60 Monaten, und statt einer Testphase besteht jeder Cluster vor der Übergabe die Tests für Burn-in und Abnahme.
Wo laufen die Server?
HGX B300-Kapazität steht in Toronto, RTX PRO 6000 Blackwell und Inferenzserver stehen in Montreal, weitere B300-Kapazität wird in den USA in Betrieb genommen, und ein Standort in Finnland ist in Entwicklung. Siehe Rechenzentren.
Sagen Sie uns, was Sie betreiben möchten.
Nennen Sie uns die Hardware, die Anzahl der Server, die Laufzeit und das Startdatum. Sie erhalten ein schriftliches Angebot auf Grundlage unserer Lieferspezifikation.