NVIDIA GeForce RTX 4090

RTX 4090は、GPUあたり24 GBに収まり、すでにAda Lovelaceアーキテクチャ向けに最適化されたレンダリングや画像のパイプラインに適しています。各GPUは24 GBのGDDR6Xを備え、サーバーあたり192 GBです。

代表的なジョブは、ファイナルフレームやルック開発のレンダリング、拡散モデルによる画像生成、KVキャッシュを含めて24 GBに収まるモデルの推論など、各GPUがそれぞれ独立したタスクを処理するものです。専用サーバーに搭載された8基のGPUは、レンダリングや生成のキューにとって8つの独立したワーカーとなり、同じマシンに他のテナントはいません。

• メモリ：24 GBのGDDR6X（384ビットバス、21 Gbps）で1,008 GB/s、L2キャッシュは72 MBです。
• 演算性能：CUDAコア16,384個、ブーストクロック2.52 GHzでFP32は82.6 TFLOPSです。
• Tensorコア：第4世代Tensorコアを512個搭載しています。NVIDIAが公表する1,321 AI TOPSはスパース時のFP8の数値と一致し、密のFP8はFP16累算で660.6 TFLOPSです。
• レイトレーシング：第3世代RTコアを128個搭載し、公称値は191 TFLOPSです。
• 動画：第8世代NVENCエンジン2基と第5世代NVDECを備え、AV1のエンコードとデコードに対応します。
• 電力：NVIDIAの定格値で、カードあたりの総グラフィックス電力は450 W、8基のGPU合計で3,600 Wです。

RTX 4090はNVLinkを備えておらず、GPU間はPCIe Gen 4で通信します。複数のGPUに分割する必要があるモデルには、A100 80GBやHGX Blackwellサーバーなど、NVLinkを備えたサーバーが適しています。

RTX 4090サーバーはお客様の要件に合わせて構成し、カードモデル、CPU、システムメモリ、ローカルNVMe、ネットワークを提案書で確定します。NVIDIAの数値は3スロットカードであるFounders Editionのものであり、ボードパートナー製カードはクロック、電力、サイズが異なる場合があるとNVIDIAは注記しています。そのため、提案書にはお客様のサーバーに搭載するカードを明記します。

すべてのサーバーは引き渡し前にバーンインを実施し、その結果を検収テスト報告書にまとめます。プロセスについてはバーンインと検収のページで説明しています。

RTX 4090サーバーはご要望に応じて提供します。サーバー台数、契約期間、開始日をお知らせいただければ、構成と納品スケジュールを記載した提案書を送付します。

レンタルは8基のGPUを搭載したサーバー単位で、契約期間は36カ月、48カ月、60カ月のいずれかです。契約期間が長いほど料金は低くなります。サーバーを実際に使用する企業には、契約締結前に3種類のオンボーディング書類にご記入いただきます。契約締結時に頭金をお支払いいただき、以降は契約期間を通じて一律の固定月額料金をお支払いいただきます。転送するシーン、テクスチャ、フレームにエグレス料金はかかりません。各ステップは導入の流れのページで説明しています。

RTX 4090は、GPUレンダリング、拡散モデルによる画像生成、GPUあたり24 GBに収まるモデルの推論に適しています。13BパラメーターのモデルはFP16で約26 GBを必要とし、RTX 4090単体のメモリを超えます。FP8では約13 GBで済み、KVキャッシュのための余裕が残ります。

レンダリングとVFXのパイプラインについてはメディア・エンターテインメントのページで、拡散モデルのワークロードについては動画生成AIのページで説明しています。専用ベアメタルで動かすComfyUIとAI動画では、ジョブごとにVRAMをすべて使えることがなぜ重要かを解説しています。クラウドGPU環境の本当のコストがわかる10の質問は、現在の支払額との比較に役立ちます。

24 GBが制約になる場合は、RTX 5090なら32 GB、1,792 GB/sです。ECCを備え、カードのペアをNVLinkブリッジでつなげる48 GBが必要な場合は、RTX A6000をご覧ください。