NVIDIA GeForce RTX 5090

RTX 5090は、GPUごとに1つのジョブを実行し、大容量よりも高速なメモリを必要とするパイプライン向けです。拡散モデルによる画像・動画生成、GPUレンダリング、32 GBに収まるモデルの推論などが該当します。各GPUは32 GBのGDDR7を備え、サーバーあたり256 GBです。Blackwellアーキテクチャを採用し、第5世代TensorコアでFP4に対応しています。

フレームを並列にレンダリングまたは生成するチームは、サーバーあたり8基の独立したGPUを利用できます。各GPUはカードのメモリと帯域幅をすべて使え、同じマシンに他のテナントはいません。

際立つのはメモリ帯域幅です。NVIDIAはRTX 5090の帯域幅を512ビットバス、28 Gbpsで1,792 GB/sとしており、GPUあたりではRTX PRO 6000 Blackwell Server Editionの1,597 GB/sを上回ります。

• 演算性能：CUDAコア21,760個、FP32は104.8 TFLOPSです。NVIDIAが公表する3,352 AI TOPSはスパース性ありのFP4の数値で、密のFP4は1,676 TFLOPSです。
• TensorコアとRTコア：第5世代Tensorコア680個と第4世代RTコア170個を搭載し、レイトレーシング性能の公称値は318 TFLOPSです。
• 動画：GPUあたり第9世代NVENC 3基と第6世代NVDEC 2基のエンジンを備え、AV1のエンコードとデコードに対応します。
• 電力：NVIDIAの定格値で、カードあたりの総グラフィックス電力は575 W、8基のGPU合計で4,600 Wです。

RTX 5090はNVLinkを備えていません。GPU間はPCIe Gen 5で通信するため、複数のGPUに分割するモデルよりも、カードごとに1つの拡散ジョブを実行するなど、各GPUで独立して動く処理に適しています。

RTX 5090サーバーはお客様の要件に合わせて構成し、カードモデル、CPU、システムメモリ、ストレージ、ネットワークを含めて提案書で確定します。

バーンインと検収のページで説明しているとおり、すべてのサーバーは引き渡し前にバーンインを実施し、その結果を検収テスト報告書にまとめます。

RTX 5090サーバーはご要望に応じて提供します。必要な台数、期間、開始時期をお知らせいただければ、納品スケジュールを提案書で確定します。レンタルは8基のGPUを搭載したサーバー単位で、契約期間は36カ月、48カ月、60カ月のいずれかです。契約期間が長いほど料金は低くなります。

サーバーを実際に使用する企業には、契約締結前に3種類のオンボーディング書類にご記入いただきます。契約締結時の頭金の後は、契約期間を通じて一律の固定月額料金となり、転送するメディアにエグレス料金はかかりません。トライアルは提供していません。その代わりとなるのがバーンインと検収テスト報告書です。各ステップは導入の流れのページで説明しています。

RTX 5090は、ComfyUIなどの拡散モデルのパイプライン、レンダリング、重みとKVキャッシュがGPUあたり32 GBに収まる推論に適しています。24BパラメーターのモデルはFP8で約24 GBを使用し、カード上には約8 GBがKVキャッシュと作業用メモリとして残ります。

専用サーバー上の拡散モデルのパイプラインについては動画生成AIのページで説明しています。RTX 5090を大規模に運用する本当のコストではデータ移動とアイドル時間を、専用ベアメタルで動かすComfyUIとAI動画ではパイプラインそのものを取り上げています。

解像度、クリップの長さ、バッチサイズに対して32 GBでは足りない場合、RTX PRO 6000 BlackwellはGPUあたり96 GBのメモリをECC付きで備えています。Ada Lovelace向けに最適化されたパイプラインには、RTX 4090をご覧ください。