生成式影片與影像用 GPU 伺服器

用於 ComfyUI 及其他擴散模型管線的專屬 NVIDIA 伺服器,每顆 GPU 32 GB 至 270 GB,讓模型保持載入狀態,影片片段也能達到您需要的解析度與長度。

ComfyUI 或任何其他擴散模型管線所用的 GPU 伺服器,依記憶體決定配置:模型、其文字編碼器與 VAE,以及每個影格的潛在表示,都必須同時容納在 GPU 上。1Legion 出租整台 8-GPU 伺服器,配備 96 GB 的 RTX PRO 6000 Blackwell 或 32 GB 的 RTX 5090 顯示卡,並為最大型的影片模型提供每顆 GPU 270 GB 的 HGX B300。

為什麼 GPU 記憶體決定解析度、長度與批次大小

在擴散模型管線中,GPU 記憶體決定了您能生成多大的影格、一個片段能容納多少影格,以及能同時執行多少個片段。

96 GB RTX PRO 6000 Blackwell 每顆 GPU 的 GDDR7
32 GB GeForce RTX 5090 每顆 GPU 的 GDDR7
270 GB HGX B300 每顆 GPU 的 HBM3e

在 BF16 下,每個參數的權重佔 2 個位元組,FP8 為 1 個位元組,FP4 為半個位元組。

模型大小BF16FP8FP4
5B 參數10 GB5 GB2.5 GB
14B 參數28 GB14 GB7 GB
30B 參數60 GB30 GB15 GB

文字編碼器與 VAE 會在擴散模型之外另外載入。接著,活化值會隨潛在表示增長:若 VAE 在每個空間維度壓縮 8 倍、在時間維度壓縮 4 倍,並使用 2 x 2 的區塊(patch),單一 1280 x 720 影格為 3,600 個 token,81 影格的片段則為 75,600 個。影格數加倍,token 數也會加倍,注意力運算量則約變為四倍;批次中每多一個片段,也會加入其各自的潛在表示。記憶體不足時,ComfyUI 會將權重卸載到系統記憶體、以分塊(tiled)方式將每個影格分成小塊進行 VAE 解碼,或由您降低解析度或長度,而這些做法都會犧牲時間或品質。

哪些伺服器適合擴散模型工作

RTX PRO 6000 Blackwell 適合 BF16 的影片模型,RTX 5090 適合影像模型與量化後的影片模型,HGX B300 則適合最大型的模型及其訓練。

RTX PRO 6000 Blackwell

每顆 GPU 配備 96 GB 具 ECC 的 GDDR7,每台伺服器 768 GB,第五代 Tensor 核心支援 FP8 與 FP4。以 BF16 表示的 14B 模型,約可留下 68 GB 給編碼器、VAE 與活化值。開放預訂,位於蒙特婁。

RTX PRO 6000 伺服器

GeForce RTX 5090

每顆 GPU 配備 32 GB 的 GDDR7,每台伺服器 256 GB,具備 21,760 個 CUDA 核心與第五代 Tensor 核心。以 FP8 表示的 14B 模型,約可留下 18 GB 給編碼器、VAE 與活化值。依需求提供。

RTX 5090 伺服器

HGX B300

每顆 GPU 配備 270 GB 的 HBM3e,每台伺服器 2.1 TB;當模型或長片段需要分散到多顆 GPU 時,NVLink 可提供每顆 GPU 1.8 TB/s 的頻寬。開放預訂,位於多倫多。

HGX B300 伺服器

NVIDIA 也將以擴散模型為基礎的影片生成列為 GB300 NVL72 的重點應用,該平台將 72 顆 GPU 與 20 TB 的 HBM3e 置於同一個 NVLink 網域,需提前預訂。

在正式環境中執行 ComfyUI

ComfyUI 每個程序只有一個佇列,因此正式環境的伺服器通常在您自己的作業路由器後方,每顆 GPU 執行一個執行個體,每台伺服器八個。

  • 將每個執行個體綁定到一顆 GPU:啟動每個程序時,以 --cuda-device 指定其 GPU,讓一顆 GPU 上的長時間影片作業絕不會拖慢其他七顆。
  • 讓模型常駐:每顆 GPU 有 96 GB,擴散模型、文字編碼器與 VAE 可在作業之間持續留在 GPU 記憶體中,不必為每個作業重新載入。
  • 凍結您的環境:自訂節點、模型版本與驅動程式都維持您設定的狀態;我們這一端的變更遵循書面變更管理,高風險維護至少提前 7 天通知。
  • 在 GPU 上編碼:RTX PRO 6000 Blackwell 每顆 GPU 有 4 個 NVENC 編碼器,RTX 5090 則有 3 個,兩者皆支援 AV1,因此完成的片段不必等待 CPU 編碼。NVIDIA 將 GeForce 顯示卡限制為每個系統 12 個並行編碼工作階段。
  • 自由搬移輸出:生成的影片傳出伺服器時不收取資料傳出費用。

相同的配置也適用於以 Hugging Face Diffusers 或您自己的 PyTorch 程式碼建置的管線。我們關於在裸機上執行 ComfyUI 與 AI 影片的文章,說明了如何在專屬伺服器上執行 ComfyUI。

可據以規劃的擴散模型推論伺服器

在只有您使用的伺服器上,今天需要多少時間的工作流程,下個月也會需要相同的時間,因此您可以依自己的量測結果規劃產出與交付日期。

針對每個工作流程,量測單顆 GPU 一小時能產出多少個片段,再乘以每台伺服器的八顆 GPU,就能得出一台伺服器的處理能力;您的作業前面沒有共用佇列,GPU 上也沒有其他租戶。對於小型影像模型,MIG 可將一顆 RTX PRO 6000 Blackwell 最多分割為四個 24 GB 執行個體,或兩個 48 GB 執行個體。同一產品中的 LLM 步驟(例如提示詞擴寫或生成描述文字),請參閱用於 AI 推論的 GPU 伺服器。我們關於 RTX PRO 6000 節點能容納哪些模型的文章,說明了如何在相同的顯示卡上以 QLoRA 進行微調;關於大規模執行 RTX 5090 的文章,則說明了資料搬移與閒置時間。

合約期 36 至 60 個月的生成式影片 GPU 伺服器

生成式影片伺服器以整台出租,每台 8 顆 GPU,合約期 36、48 或 60 個月,採書面提案書中訂定的單一固定月費。

您在簽約時支付預付款,之後按月付款,不收取資料傳出費用,合約期越長,費率越低。RTX PRO 6000 Blackwell 在蒙特婁運作,HGX B300 在多倫多運作。採購方式說明了開戶與合約。

買方常見問題

ComfyUI 影片工作流程需要多少 GPU 記憶體?

將擴散模型的權重(BF16 下每個參數 2 個位元組,FP8 下為 1 個)、文字編碼器與 VAE,以及隨解析度與影格數增長的活化值相加。一個 14B 參數的影片模型,在計入其他任何項目之前,以 BF16 表示就需要 28 GB。

我們可以在一台伺服器上執行多個 ComfyUI 執行個體嗎?

可以。常見的配置是每顆 GPU 一個執行個體,每台伺服器八個,各自綁定到所屬的 GPU,前端則由您自己的作業路由器分派。

RTX 5090 足以進行影片生成嗎?

每顆 GPU 有 32 GB,可容納影像模型,以及 FP8 的 14B 影片模型,並約留下 18 GB 給文字編碼器、VAE 與活化值。如需 BF16 權重、更長的片段或更高的解析度,請選擇具備 96 GB 的 RTX PRO 6000 Blackwell。

我們可以租用一顆 GPU 一個月來測試工作流程嗎?

不可以。我們以 36、48 或 60 個月的合約期出租整台伺服器,不提供試用或短期租用。伺服器在交付前都會完成燒機測試,結果記錄於驗收報告中。

下載生成的影片需要付費嗎?

不需要。不收取資料傳出費用,且月費在合約期內固定不變。

為您的影片管線配置伺服器

請告訴我們模型、解析度、片段長度與每日產量,我們會回覆書面提案書。