ComfyUIなどの拡散モデルのパイプラインに使うGPUサーバーは、メモリで選びます。モデル、そのテキストエンコーダーとVAE、全フレームの潜在表現を、同時にGPUに収める必要があるためです。1Legionは、96 GBのRTX PRO 6000 Blackwellまたは32 GBのRTX 5090を8基搭載したサーバーを丸ごとレンタルし、最大規模の動画モデル向けにはGPUあたり270 GBのHGX B300を提供しています。
GPUメモリが解像度、長さ、バッチサイズを決める理由
拡散モデルのパイプラインでは、生成できるフレームの大きさ、1つのクリップに含められるフレーム数、同時に実行できるクリップ数をGPUメモリが決めます。
重みはパラメーターあたり、BF16で2バイト、FP8で1バイト、FP4で0.5バイトを使用します。
| モデルサイズ | BF16 | FP8 | FP4 |
|---|---|---|---|
| 5Bパラメーター | 10 GB | 5 GB | 2.5 GB |
| 14Bパラメーター | 28 GB | 14 GB | 7 GB |
| 30Bパラメーター | 60 GB | 30 GB | 15 GB |
テキストエンコーダーとVAEは、拡散モデルに加えて読み込まれます。さらにアクティベーションは潜在表現に応じて増加します。空間方向の各次元で8倍、時間方向で4倍に圧縮するVAEと2 x 2のパッチを使う場合、1280 x 720のフレーム1枚は3,600トークン、81フレームのクリップは75,600トークンになります。フレーム数を2倍にするとトークン数も2倍になり、アテンションの計算量は約4倍になります。また、バッチ内のクリップが1つ増えるごとに、そのクリップの潜在表現が加わります。メモリが不足すると、ComfyUIが重みをシステムメモリにオフロードする、タイル化したVAEデコードで各フレームを分割して処理する、解像度や長さを下げる、のいずれかとなり、どれも時間か品質を犠牲にします。
拡散モデルのワークロードに適したサーバー
RTX PRO 6000 BlackwellはBF16の動画モデルに、RTX 5090は画像モデルと量子化した動画モデルに、HGX B300は最大規模のモデルとその学習に適しています。
RTX PRO 6000 Blackwell
GPUあたりECC付きGDDR7を96 GB、サーバーあたり768 GB搭載し、第5世代TensorコアでFP8とFP4に対応します。BF16の14Bモデルでは、エンコーダー、VAE、アクティベーション用に約68 GBが残ります。モントリオールで割り当て受付中です。
GeForce RTX 5090
GPUあたり32 GBのGDDR7、サーバーあたり256 GBを搭載し、21,760個のCUDAコアと第5世代Tensorコアを備えます。FP8の14Bモデルでは、エンコーダー、VAE、アクティベーション用に約18 GBが残ります。提供は要相談です。
HGX B300
GPUあたり270 GBのHBM3e、サーバーあたり2.1 TBを搭載し、モデルや長いクリップを複数のGPUに分割する場合は、GPUあたり1.8 TB/sのNVLinkで接続します。トロントで割り当て受付中です。
NVIDIAはGB300 NVL72の用途として、拡散モデルによる動画生成も挙げています。同製品は72基のGPUと20 TBのHBM3eを単一のNVLinkドメインにまとめたもので、予約制で提供します。
本番環境でのComfyUIの運用
ComfyUIはプロセスごとに1つのキューで動作するため、本番サーバーでは通常、お客様独自のジョブルーターの背後で、GPUごとに1インスタンス、サーバーあたり8インスタンスを実行します。
- 各インスタンスをGPUに固定：各プロセスを、担当するGPUを指定した
--cuda-deviceで起動します。これにより、あるGPUでの長い動画ジョブが残りの7基を遅くすることはありません。 - モデルを常駐させる：GPUあたり96 GBあれば、拡散モデル、テキストエンコーダー、VAEをジョブごとに再読み込みせず、ジョブ間もGPUメモリに保持できます。
- 環境を固定：カスタムノード、モデルのバージョン、ドライバーはお客様が設定したとおりに保たれ、当社側の変更は書面による変更管理に従い、高リスクメンテナンスは7日以上前に事前通知します。
- GPUでエンコード：RTX PRO 6000 BlackwellはGPUあたり4基、RTX 5090は3基のNVENCエンコーダーを搭載し、いずれもAV1に対応しているため、完成したクリップがCPUでのエンコードを待つことはありません。NVIDIAはGeForceカードの同時エンコードセッション数をシステムあたり12に制限しています。
- 出力を自由に転送：生成した動画をサーバーから転送しても、エグレス料金はかかりません。
Hugging Face Diffusersやお客様独自のPyTorchコードで構築したパイプラインにも、同じ構成が当てはまります。専用サーバーでのComfyUIについては、ベアメタルで動かすComfyUIとAI動画の記事で解説しています。
計画を立てやすい拡散モデル推論サーバー
お客様だけが使うサーバーでは、今日ある時間で終わるワークフローは来月も同じ時間で終わるため、自社の測定値をもとに出力量と納期を計画できます。
各ワークフローについて、1基のGPUが1時間に生成できるクリップ数を測定し、サーバーあたり8基のGPUを掛ければ、サーバーの処理能力がわかります。ジョブの前に共有キューはなく、GPU上に他のテナントもいません。小規模な画像モデル向けには、MIGによってRTX PRO 6000 Blackwell 1基を最大4つの24 GBインスタンス、または2つの48 GBインスタンスに分割できます。プロンプトの拡張やキャプション生成など、同じプロダクト内のLLM処理についてはAI推論向けGPUサーバーをご覧ください。同じカードでのQLoRAによるファインチューニングはRTX PRO 6000ノードに収まるものの記事で、データ転送とアイドル時間はRTX 5090を大規模に運用するの記事で解説しています。
36〜60カ月の契約期間で提供する動画生成AI向けGPUサーバー
動画生成AI向けサーバーは、8基のGPUを搭載したサーバー単位で、36カ月、48カ月、60カ月のいずれかの期間、提案書で定めた一律の固定月額料金でレンタルします。
契約締結時に頭金をお支払いいただき、その後は毎月お支払いいただきます。エグレス料金はかからず、契約期間が長いほど料金は低くなります。RTX PRO 6000 Blackwellはモントリオールで、HGX B300はトロントで稼働しています。オンボーディングと契約については導入の流れで説明しています。
導入検討時のよくあるご質問
ComfyUIの動画ワークフローにはどれくらいのGPUメモリが必要ですか？
拡散モデルの重み（パラメーターあたりBF16で2バイト、FP8で1バイト）、テキストエンコーダーとVAE、解像度とフレーム数に応じて増えるアクティベーションを合計します。14Bパラメーターの動画モデルは、BF16の重みだけで28 GBが必要です。
1台のサーバーで複数のComfyUIインスタンスを実行できますか？
はい。一般的な構成は、GPUごとに1インスタンス、サーバーあたり8インスタンスで、それぞれを担当のGPUに固定し、その前段にお客様独自のジョブルーターを置きます。
動画生成にRTX 5090で十分ですか？
GPUあたり32 GBで、画像モデルや、FP8の14B動画モデル（テキストエンコーダー、VAE、アクティベーション用に約18 GBが残る）に対応できます。BF16の重み、より長いクリップ、より高い解像度が必要な場合は、96 GBのRTX PRO 6000 Blackwellをお選びください。
ワークフローをテストするために、GPUを1カ月だけレンタルできますか？
いいえ。サーバー単位で36カ月、48カ月、60カ月のいずれかの期間でレンタルしており、トライアルや短期レンタルは提供していません。サーバーは引き渡し前にバーンインを実施し、その結果は検収テスト報告書に記載されます。
生成した動画のダウンロードに料金はかかりますか？
いいえ。エグレス料金はかからず、月額料金は契約期間中固定です。