NVIDIA GeForce RTX 4090
Acht GeForce RTX 4090-GPUs mit je 24 GB GDDR6X, 192 GB pro Server, für GPU-Rendering, Bildgenerierung mit Diffusionsmodellen und die Inferenz kleinerer Modelle, auf Anfrage konfiguriert.
- GPUs pro Server
- 8
- Speicher pro GPU
- 24 GB GDDR6X
- Speicherbandbreite
- 1.008 GB/s
- FP32 pro GPU
- 82,6 TFLOPS
Technische Daten
| GPU | |
|---|---|
| Architektur | NVIDIA Ada Lovelace (AD102) |
| Speicher | 24 GB GDDR6X, 384 Bit, 21 Gbit/s |
| Speicherbandbreite | 1.008 GB/s |
| L2-Cache | 72 MB |
| CUDA-Kerne | 16.384 |
| Tensor-Kerne | 512, vierte Generation |
| RT-Kerne | 128, dritte Generation, 191 TFLOPS |
| KI-TOPS (NVIDIA) | 1.321 |
| FP8-Tensor, FP16-Akkumulation | 1.321,2 TFLOPS mit Sparsity, 660,6 TFLOPS ohne Sparsity |
| FP16-Tensor, FP16-Akkumulation | 660,6 TFLOPS mit Sparsity, 330,3 TFLOPS ohne Sparsity |
| FP32 | 82,6 TFLOPS |
| Boost-Takt | 2,52 GHz |
| Video-Engines | 2 NVENC (achte Generation), NVDEC der fünften Generation, AV1-Encoding und -Decoding |
| Interconnect | PCIe Gen 4; kein NVLink |
| Grafikkarten-Gesamtleistung | 450 W |
| Referenzkarte | 3 Slots, 304 mm x 137 mm (Founders Edition) |
| Server im Lieferzustand | |
|---|---|
| GPUs pro Server | 8 |
| GPU-Speicher pro Server | 192 GB (8 x 24 GB) |
| GPU-Leistungsaufnahme pro Server | 3.600 W laut NVIDIA-Angabe (8 x 450 W) |
| Kartenmodell | Wird in Ihrem Angebot bestätigt |
| CPU, Arbeitsspeicher, Storage und Netzwerk | Nach Ihren Anforderungen konfiguriert und in Ihrem Angebot bestätigt |
Typische Workloads
- GPU-Rendering, finale Frames und Look-Development
- Bildgenerierung mit Diffusionsmodellen
- Inferenz von Modellen, die in 24 GB pro GPU passen
- Video-Encoding mit AV1
Mieten Sie dedizierte Server mit acht NVIDIA GeForce RTX 4090-GPUs für GPU-Rendering, Bildgenerierung und die Inferenz kleinerer Modelle. RTX 4090-Server sind auf Anfrage erhältlich, nach Ihren Anforderungen konfiguriert, mit Verträgen über 36, 48 oder 60 Monate.
Für wen die RTX 4090 geeignet ist
Die RTX 4090 eignet sich für Rendering- und Bild-Pipelines, die mit 24 GB pro GPU auskommen und bereits auf die Ada Lovelace-Architektur abgestimmt sind. Jede GPU hat 24 GB GDDR6X, 192 GB pro Server.
Typische Einsatzbereiche sind Final-Frame- und Look-Development-Rendering, Bildgenerierung mit Diffusionsmodellen und die Inferenz von Modellen, die samt KV-Cache in 24 GB passen, wobei jede GPU an ihrer eigenen Aufgabe arbeitet. Acht GPUs in einem dedizierten Server geben einer Render- oder Generierungswarteschlange acht unabhängige Worker, und kein anderer Mandant nutzt die Maschine.
Stärken
- Speicher: 24 GB GDDR6X mit 1.008 GB/s an einem 384-Bit-Bus mit 21 Gbit/s, dazu 72 MB L2-Cache.
- Rechenleistung: 16.384 CUDA-Kerne und 82,6 TFLOPS FP32 bei 2,52 GHz Boost-Takt.
- Tensor-Kerne: 512 Tensor-Kerne der vierten Generation. Die von NVIDIA angegebenen 1.321 KI-TOPS entsprechen dem FP8-Wert mit Sparsity; ohne Sparsity erreicht FP8 660,6 TFLOPS mit FP16-Akkumulation.
- Raytracing: 128 RT-Kerne der dritten Generation mit einer Nennleistung von 191 TFLOPS.
- Video: zwei NVENC-Engines der achten Generation und ein NVDEC der fünften Generation, mit AV1-Encoding und -Decoding.
- Leistungsaufnahme: 450 W Grafikkarten-Gesamtleistung pro Karte, 3.600 W für acht GPUs laut NVIDIA-Angabe.
Die RTX 4090 hat kein NVLink; die GPUs kommunizieren über PCIe Gen 4. Modelle, die auf mehrere GPUs verteilt werden müssen, gehören auf einen Server mit NVLink, etwa einen A100 80GB-Server oder einen HGX Blackwell-Server.
Konfiguration im Lieferzustand
RTX 4090-Server werden nach Ihren Anforderungen konfiguriert und in Ihrem Angebot bestätigt: Kartenmodell, CPU, Arbeitsspeicher, lokaler NVMe-Speicher und Netzwerk. Die Angaben von NVIDIA beziehen sich auf die Founders Edition, eine 3-Slot-Karte, und NVIDIA weist darauf hin, dass Karten von Boardpartnern bei Taktraten, Leistungsaufnahme und Größe abweichen können. Deshalb nennt Ihr Angebot die Karte in Ihren Servern.
Jeder Server durchläuft vor der Übergabe ein Burn-in, die Ergebnisse stehen in einem Abnahmebericht. Unsere Seite Burn-in und Abnahme erklärt den Ablauf.
So funktioniert die Miete
RTX 4090-Server sind auf Anfrage erhältlich. Nennen Sie uns die Anzahl der Server, die Laufzeit und den Starttermin, und wir antworten mit einem schriftlichen Angebot, das die Konfiguration und den Lieferplan festlegt.
Sie mieten ganze 8-GPU-Server mit einem Vertrag über 36, 48 oder 60 Monate, und längere Laufzeiten bedeuten niedrigere Preise. Das Unternehmen, das die Server nutzen wird, füllt vor der Unterzeichnung drei Onboarding-Formulare aus. Bei Unterzeichnung leisten Sie eine Anzahlung, danach zahlen Sie für die gesamte Laufzeit einen festen Monatspreis, ohne Egress-Gebühren für die Szenen, Texturen und Frames, die Sie übertragen. Unsere Seite So mieten Sie beschreibt jeden Schritt.
Workloads und Alternativen
Die RTX 4090 eignet sich für GPU-Rendering, Bildgenerierung mit Diffusionsmodellen und die Inferenz von Modellen, die innerhalb von 24 GB pro GPU bleiben. Ein Modell mit 13B Parametern belegt in FP16 etwa 26 GB, mehr als eine RTX 4090 fasst; in FP8 belegt es etwa 13 GB und lässt Platz für den KV-Cache.
Unsere Seite Medien und Unterhaltung behandelt Rendering- und VFX-Pipelines, die Seite KI-Videogenerierung Workloads mit Diffusionsmodellen. ComfyUI und KI-Video auf dediziertem Bare Metal zeigt, warum der volle VRAM pro Job wichtig ist, und 10 Fragen, die die tatsächlichen Kosten Ihres Cloud-GPU-Setups offenlegen hilft beim Vergleich mit dem, was Sie heute zahlen.
Wenn 24 GB die Grenze sind, bietet die RTX 5090 32 GB mit 1.792 GB/s. Für 48 GB mit ECC und NVLink-Brücken zwischen Kartenpaaren sehen Sie sich die RTX A6000 an.
Was Kunden fragen
RTX 4090 oder RTX 5090: Welche sollten wir mieten?
Die RTX 5090 hat 32 GB mit 1.792 GB/s und unterstützt FP4 auf Blackwell; die RTX 4090 hat 24 GB mit 1.008 GB/s. Wählen Sie die RTX 4090, wenn Ihre Arbeit in 24 GB passt und Ihre Pipeline auf Ada Lovelace abgestimmt ist.
Was bedeuten 1.321 KI-TOPS?
Das ist der KI-TOPS-Wert, den NVIDIA für die RTX 4090 angibt. Das Whitepaper von NVIDIA zur Ada-Architektur nennt denselben Wert von 1.321,2 für FP8-Tensor mit FP16-Akkumulation bei Nutzung von Sparsity und 660,6 TFLOPS ohne Sparsity.
Sind die acht GPUs über NVLink verbunden?
Nein. Die GeForce RTX 4090 hat kein NVLink, daher kommunizieren die GPUs über PCIe Gen 4. Sie eignet sich am besten, wenn jede GPU ihre eigenen Frames rendert oder ihren eigenen Job ausführt.
Welche RTX 4090-Karten stecken in den Servern?
Das Kartenmodell wird in Ihrem Angebot bestätigt. Die Angaben von NVIDIA beziehen sich auf die Founders Edition, eine 3-Slot-Karte, und NVIDIA weist darauf hin, dass Karten von Boardpartnern bei Taktraten, Leistungsaufnahme und Größe abweichen können.
Welche Vertragslaufzeiten gibt es?
36, 48 oder 60 Monate, mit niedrigeren Preisen für längere Laufzeiten. Sie leisten bei Unterzeichnung eine Anzahlung und zahlen danach für die gesamte Laufzeit einen festen Monatspreis, ohne Egress-Gebühren.
Mieten Sie RTX 4090-Server mit Laufzeiten von 36 bis 60 Monaten.
Nennen Sie uns die Hardware, die Anzahl der Server, die Laufzeit und das Startdatum. Sie erhalten ein schriftliches Angebot auf Grundlage unserer Lieferspezifikation.