GPU-Server für KI-Video- und Bildgenerierung
Dedizierte NVIDIA-Server für ComfyUI und andere Diffusions-Pipelines, mit 32 GB bis 270 GB pro GPU, damit Modelle geladen bleiben und Clips die Auflösung und Länge erreichen, die Sie brauchen.
Ein GPU-Server für ComfyUI oder jede andere Diffusions-Pipeline wird nach dem Speicher dimensioniert: Das Modell, sein Text-Encoder und sein VAE sowie die Latents für jeden Frame müssen gleichzeitig auf die GPU passen. 1Legion vermietet ganze 8-GPU-Server mit Karten vom Typ RTX PRO 6000 Blackwell mit 96 GB oder RTX 5090 mit 32 GB sowie HGX B300 mit 270 GB pro GPU für die größten Videomodelle.
Warum der GPU-Speicher Auflösung, Länge und Batch-Größe bestimmt
In einer Diffusions-Pipeline entscheidet der GPU-Speicher darüber, wie groß ein Frame sein kann, den Sie erzeugen, wie viele Frames ein Clip enthalten kann und wie viele Clips gleichzeitig laufen.
Gewichte belegen 2 Byte pro Parameter in BF16, 1 Byte in FP8 und ein halbes Byte in FP4.
| Modellgröße | BF16 | FP8 | FP4 |
|---|---|---|---|
| 5B Parameter | 10 GB | 5 GB | 2,5 GB |
| 14B Parameter | 28 GB | 14 GB | 7 GB |
| 30B Parameter | 60 GB | 30 GB | 15 GB |
Text-Encoder und VAE werden zusätzlich zum Diffusionsmodell geladen. Die Aktivierungen wachsen dann mit dem Latent: Mit einem VAE, der in jeder räumlichen Dimension 8-fach und zeitlich 4-fach komprimiert, und Patches von 2 x 2 entspricht ein einzelner Frame mit 1280 x 720 Pixeln 3.600 Tokens und ein Clip mit 81 Frames 75.600 Tokens. Eine Verdopplung der Frame-Anzahl verdoppelt die Tokens und vervierfacht ungefähr den Attention-Aufwand, und jeder zusätzliche Clip in einem Batch bringt eigene Latents mit. Wenn der Speicher nicht reicht, lagert ComfyUI Gewichte in den Arbeitsspeicher aus, ein gekacheltes VAE-Decoding bearbeitet jeden Frame in Teilen, oder Sie reduzieren Auflösung oder Länge, und all das kostet Zeit oder Qualität.
Welche Server zu Diffusions-Workloads passen
RTX PRO 6000 Blackwell eignet sich für Videomodelle in BF16, RTX 5090 für Bildmodelle und quantisierte Videomodelle und HGX B300 für die größten Modelle und ihr Training.
RTX PRO 6000 Blackwell
96 GB GDDR7 mit ECC pro GPU und 768 GB pro Server, mit FP8 und FP4 auf Tensor-Kernen der fünften Generation. Ein 14B-Modell in BF16 lässt etwa 68 GB für Encoder, VAE und Aktivierungen frei. Kontingent verfügbar, in Montreal.
GeForce RTX 5090
32 GB GDDR7 pro GPU und 256 GB pro Server, mit 21.760 CUDA-Kernen und Tensor-Kernen der fünften Generation. Ein 14B-Modell in FP8 lässt etwa 18 GB für Encoder, VAE und Aktivierungen frei. Auf Anfrage.
HGX B300
270 GB HBM3e pro GPU und 2,1 TB pro Server, mit 1,8 TB/s pro GPU über NVLink, wenn ein Modell oder ein langer Clip auf mehrere GPUs verteilt wird. Kontingent verfügbar, in Toronto.
NVIDIA hebt auch die diffusionsbasierte Videogenerierung für GB300 NVL72 hervor, das 72 GPUs und 20 TB HBM3e in einer NVLink-Domäne vereint, nach Reservierung.
ComfyUI in der Produktion betreiben
ComfyUI arbeitet mit einer Warteschlange pro Prozess, daher läuft auf einem Produktionsserver meist eine Instanz pro GPU, acht pro Server, hinter Ihrem eigenen Job-Router.
- Jede Instanz an eine GPU binden: Starten Sie jeden Prozess mit
--cuda-device, gesetzt auf seine GPU, damit ein langer Videojob auf einer GPU nie die anderen sieben bremst. - Modelle im Speicher halten: Mit 96 GB pro GPU bleiben Diffusionsmodell, Text-Encoder und VAE zwischen den Jobs im GPU-Speicher, statt für jeden Job neu geladen zu werden.
- Umgebung einfrieren: Custom Nodes, Modellversionen und Treiber bleiben so, wie Sie sie eingerichtet haben, und Änderungen auf unserer Seite folgen einem schriftlichen Change-Management mit einer Vorankündigung von mindestens 7 Tagen bei risikoreicher Wartung.
- Auf der GPU encodieren: RTX PRO 6000 Blackwell hat 4 NVENC-Encoder pro GPU und RTX 5090 hat 3, beide mit AV1, sodass fertige Clips nicht auf ein Encoding durch die CPU warten. NVIDIA begrenzt GeForce-Karten auf 12 gleichzeitige Encoding-Sitzungen pro System.
- Ergebnisse frei übertragen: Generierte Videos verlassen den Server ohne Egress-Gebühren.
Dieselbe Aufteilung gilt für Pipelines auf Basis von Hugging Face Diffusers oder Ihrem eigenen PyTorch-Code. Unser Beitrag zu ComfyUI und KI-Video auf Bare Metal behandelt ComfyUI auf dedizierten Servern.
Inferenzserver für Diffusionsmodelle, mit denen Sie planen können
Auf einem Server, den nur Sie nutzen, dauert ein Workflow, der heute eine bestimmte Zeit braucht, auch nächsten Monat genauso lange. So können Sie Output und Liefertermine anhand Ihrer eigenen Messungen planen.
Messen Sie für jeden Workflow, wie viele Clips eine GPU in einer Stunde erzeugt, und multiplizieren Sie mit acht GPUs pro Server, dann kennen Sie die Kapazität eines Servers, ohne geteilte Warteschlange vor Ihren Jobs und ohne anderen Mandanten auf den GPUs. Für kleine Bildmodelle teilt MIG eine RTX PRO 6000 Blackwell in bis zu vier Instanzen mit 24 GB oder zwei mit 48 GB auf. Für LLM-Schritte im selben Produkt, etwa Prompt-Erweiterung oder Captioning, siehe GPU-Server für KI-Inferenz. Unser Beitrag Was auf einen RTX PRO 6000-Knoten passt behandelt Fine-Tuning mit QLoRA auf denselben Karten, und der Beitrag zum Betrieb von RTX 5090 im großen Maßstab behandelt Datenbewegung und Leerlaufzeiten.
GPU-Server für KI-Videogenerierung mit Laufzeiten von 36 bis 60 Monaten
Server für KI-Videogenerierung werden komplett gemietet, 8 GPUs pro Server, für 36, 48 oder 60 Monate zu einem festen Monatspreis, der in einem schriftlichen Angebot festgelegt wird.
Sie leisten bei Unterzeichnung eine Anzahlung und zahlen danach monatlich, ohne Egress-Gebühren, und längere Laufzeiten bedeuten niedrigere Preise. RTX PRO 6000 Blackwell läuft in Montreal und HGX B300 in Toronto. Die Seite So mieten Sie erklärt Onboarding und Vertrag.
Was Kunden fragen
Wie viel GPU-Speicher braucht ein Video-Workflow in ComfyUI?
Addieren Sie die Gewichte des Diffusionsmodells (2 Byte pro Parameter in BF16, 1 in FP8), Text-Encoder und VAE sowie die Aktivierungen, die mit Auflösung und Frame-Anzahl wachsen. Ein Videomodell mit 14B Parametern braucht in BF16 bereits 28 GB, bevor irgendetwas anderes hinzukommt.
Können wir mehrere ComfyUI-Instanzen auf einem Server betreiben?
Ja. Üblich ist eine Instanz pro GPU, acht pro Server, jede an ihre GPU gebunden, mit Ihrem eigenen Job-Router davor.
Reicht eine RTX 5090 für die Videogenerierung?
Mit 32 GB pro GPU fasst sie Bildmodelle und ein 14B-Videomodell in FP8, wobei etwa 18 GB für Text-Encoder, VAE und Aktivierungen bleiben. Für BF16-Gewichte, längere Clips oder höhere Auflösung wählen Sie RTX PRO 6000 Blackwell mit 96 GB.
Können wir eine GPU für einen Monat mieten, um unseren Workflow zu testen?
Nein. Wir vermieten ganze Server für 36, 48 oder 60 Monate und bieten keine Testphasen oder kurzfristigen Mieten an. Die Server durchlaufen vor der Übergabe ein Burn-in, und die Ergebnisse stehen in einem Abnahmebericht.
Berechnen Sie Gebühren für das Herunterladen generierter Videos?
Nein. Es gibt keine Egress-Gebühren, und der Monatspreis ist für die Laufzeit fest.
Server für Ihre Video-Pipeline dimensionieren
Nennen Sie uns die Modelle, Auflösungen, Clip-Längen und das tägliche Volumen, und wir antworten mit einem schriftlichen Angebot.