NVIDIA RTX PRO 6000 Blackwell

RTX PRO 6000 Blackwellは、HGXクラスの電力ではなく最大600 Wで、GPUあたり大容量のメモリを必要とするチーム向けです。70BクラスのモデルをFP8やFP4でサービングする推論チーム、動画・画像生成のスタジオ、レンダリング、エンコード、ストリーミングを行うメディアパイプラインが該当します。

各GPUはECC付きの96 GBのGDDR7を備え、サーバーあたり768 GBです。70BパラメーターのモデルのFP8の重みは約70 GBのため、KVキャッシュの余裕を残して1基のGPUに収まります。同じモデルの4ビット版なら、約60 GBの空きが残ります。

GPUはNVLinkを使わず、PCIe 5.0 x16で接続します。1基のGPUに収まるモデルや、少数のGPUにきれいに分割できるモデルはRTX PRO 6000に適しています。GPU間の通信量が多いモデルはHGXサーバーに向いています。

サーバーはお客様の要件に合わせて構成し、CPU、システムメモリ、ローカルNVMe、ネットワークを提案書で確定します。このページの数値は、パッシブ冷却を採用したNVIDIAのデータセンター向けバージョンであるServer Editionのもので、GPUあたり最大600 Wに設定できます。

モントリオール拠点にはオンサイトのエンジニアリングサポートがあります。すべてのサーバーは引き渡し前にバーンインを実施し、その結果を検収テスト報告書にまとめます。テストの内容はバーンインと検収のページで説明しています。

RTX PRO 6000 Blackwellは、モントリオールで割り当て受付中です。レンタルは8基のGPUを搭載したサーバー単位で、契約期間は36カ月、48カ月、60カ月のいずれかです。契約期間が長いほど料金は低くなります。

サーバーを実際に使用する企業には、契約締結前に3種類のオンボーディング書類にご記入いただきます。契約締結時に頭金をお支払いいただき、以降は契約期間を通じて一律の固定月額料金をお支払いいただきます。エグレス料金はかからず、大容量の動画ファイルを出し入れする場合にはこの点が重要になります。トライアルは提供していません。その代わりとなるのがバーンインと検収テスト報告書です。モントリオールはカナダの拠点で、1Legionはカナダの企業です。詳しくはカナダのGPUサーバーを、各ステップは導入の流れのページをご覧ください。

• LLM推論：70BクラスのモデルをFP8またはFP4で、GPUごとに1モデル、または少数のGPUに分割して実行します。AI推論をご覧ください。
• 動画・画像生成AI：ComfyUIなどの拡散モデルのパイプラインでは、メモリ容量が解像度、長さ、バッチサイズを左右します。動画生成AIをご覧ください。
• レンダリング、VFX、トランスコード：メディア・エンターテインメントをご覧ください。

サイジングについては、8 x 96 GB：RTX PRO 6000 Blackwellノードに何が収まるかと専用ベアメタルで動かすComfyUIとAI動画をお読みください。GPUあたり48 GBで足りる場合はL40Sをご要望に応じて提供します。最大規模のモデルには、GPUあたり270 GBのHGX B300があります。