运行 ComfyUI 或其他任何扩散模型流水线的 GPU 服务器,要按显存来配置:模型、它的文本编码器与 VAE,以及每一帧的潜在表示,都必须同时装入 GPU。1Legion 出租整台 8-GPU 服务器,配备 96 GB 的 RTX PRO 6000 Blackwell 或 32 GB 的 RTX 5090 显卡;对于最大的视频模型,还提供每块 GPU 270 GB 的 HGX B300。
为什么显存决定分辨率、时长与批量大小
在扩散模型流水线中,显存决定了您能生成多大的帧、一个片段能包含多少帧,以及能同时处理多少个片段。
在 BF16 下,每个参数的权重占 2 字节,FP8 下占 1 字节,FP4 下占半个字节。
| 模型大小 | BF16 | FP8 | FP4 |
|---|---|---|---|
| 5B 参数 | 10 GB | 5 GB | 2.5 GB |
| 14B 参数 | 28 GB | 14 GB | 7 GB |
| 30B 参数 | 60 GB | 30 GB | 15 GB |
文本编码器与 VAE 在扩散模型之外另行加载。随后,激活值随潜在表示增长:若 VAE 在每个空间维度上压缩 8 倍、在时间维度上压缩 4 倍,并采用 2 x 2 的 patch,则单个 1280 x 720 帧为 3,600 个 token,81 帧的片段为 75,600 个 token。帧数加倍,token 数随之加倍,注意力计算量约变为四倍;同一批次中每多一个片段,也会增加它自己的潜在表示。显存不足时,ComfyUI 会把权重卸载到系统内存;分块(tiled)VAE 解码会把每一帧分成小块逐块处理;或者由您降低分辨率或时长。每种做法都要以时间或质量为代价。
哪些服务器适合扩散模型任务
RTX PRO 6000 Blackwell 适合 BF16 精度的视频模型,RTX 5090 适合图像模型与量化后的视频模型,HGX B300 则适合最大的模型及其训练。
RTX PRO 6000 Blackwell
每块 GPU 配备 96 GB 支持 ECC 的 GDDR7 显存,每台服务器 768 GB,第五代 Tensor Core 支持 FP8 与 FP4。加载 BF16 精度的 14B 模型后,约剩 68 GB 留给编码器、VAE 与激活值。开放预订,位于蒙特利尔。
GeForce RTX 5090
每块 GPU 配备 32 GB GDDR7 显存,每台服务器 256 GB,具备 21,760 个 CUDA 核心与第五代 Tensor Core。加载 FP8 精度的 14B 模型后,约剩 18 GB 留给编码器、VAE 与激活值。按需提供。
HGX B300
每块 GPU 配备 270 GB HBM3e 显存,每台服务器 2.1 TB;当模型或长片段需要拆分到多块 GPU 上时,NVLink 提供每块 GPU 1.8 TB/s 的带宽。开放预订,位于多伦多。
NVIDIA 还将基于扩散模型的视频生成列为 GB300 NVL72 的重点应用。该平台将 72 块 GPU 与 20 TB HBM3e 显存置于同一个 NVLink 域中,需提前预订。
在生产环境中运行 ComfyUI
ComfyUI 每个进程只运行一个队列,因此生产环境中的服务器通常在您自己的作业路由器后面,每块 GPU 运行一个实例,每台服务器八个。
- 将每个实例绑定到一块 GPU:启动每个进程时用
--cuda-device指定对应的 GPU,这样一块 GPU 上的长视频作业绝不会拖慢其他七块。 - 让模型常驻显存:每块 GPU 有 96 GB,扩散模型、文本编码器与 VAE 可以在作业之间一直留在显存中,不必为每个作业重新加载。
- 冻结您的环境:自定义节点、模型版本与驱动程序都保持您设置的状态;我方的变更遵循书面变更管理流程,高风险维护至少提前 7 天通知。
- 在 GPU 上编码:RTX PRO 6000 Blackwell 每块 GPU 有 4 个 NVENC 编码器,RTX 5090 有 3 个,两者都支持 AV1,因此生成完成的片段无需等待 CPU 编码。NVIDIA 将 GeForce 显卡限制为每个系统 12 个并发编码会话。
- 自由传输输出结果:生成的视频传出服务器时不收取数据传出费用。
同样的布局也适用于基于 Hugging Face Diffusers 或您自己的 PyTorch 代码构建的流水线。我们关于裸金属上的 ComfyUI 与 AI 视频的文章介绍了如何在专属服务器上运行 ComfyUI。
可作为规划依据的扩散模型推理服务器
在只有您使用的服务器上,一个工作流今天耗时多久,下个月也耗时多久,因此您可以根据自己的实测结果规划产量与交付日期。
针对每个工作流,测出单块 GPU 一小时能生成多少个片段,再乘以每台服务器的八块 GPU,就得到一台服务器的产能;您的作业前面没有共享队列,GPU 上也没有其他租户。对于小型图像模型,MIG 可将一块 RTX PRO 6000 Blackwell 最多划分为四个 24 GB 实例,或两个 48 GB 实例。同一产品中的 LLM 步骤(例如提示词扩写或生成描述文本),请参阅用于 AI 推理的 GPU 服务器。我们关于 RTX PRO 6000 节点能容纳哪些模型的文章介绍了如何在同样的显卡上用 QLoRA 进行微调,关于大规模运行 RTX 5090 的文章则介绍了数据传输与空闲时间。
合同期 36 至 60 个月的生成式视频 GPU 服务器
生成式视频服务器按整台出租,每台 8 块 GPU,合同期为 36、48 或 60 个月,采用书面方案中确定的单一固定月费。
您在签约时支付预付款,之后按月付款,不收取数据传出费用,合同期越长,费率越低。RTX PRO 6000 Blackwell 在蒙特利尔运行,HGX B300 在多伦多运行。采购方式介绍了开户流程与合同。
买方常见问题
ComfyUI 视频工作流需要多少显存?
将扩散模型的权重(BF16 下每个参数 2 字节,FP8 下 1 字节)、文本编码器与 VAE,以及随分辨率与帧数增长的激活值相加。一个 14B 参数的视频模型在 BF16 下,不计其他任何部分就需要 28 GB。
我们可以在一台服务器上运行多个 ComfyUI 实例吗?
可以。常见的布局是每块 GPU 一个实例,每台服务器八个,每个实例绑定到各自的 GPU,前面接您自己的作业路由器。
RTX 5090 足以进行视频生成吗?
每块 GPU 32 GB 显存,可容纳图像模型,也可容纳 FP8 精度的 14B 视频模型,并为文本编码器、VAE 与激活值留出约 18 GB。如需 BF16 权重、更长的片段或更高的分辨率,请选择配备 96 GB 显存的 RTX PRO 6000 Blackwell。
我们可以租用一块 GPU 一个月来测试工作流吗?
不可以。我们按 36、48 或 60 个月的合同期出租整台服务器,不提供试用或短期租用。服务器在交付前都会完成老化测试,结果写入验收报告。
下载生成的视频需要付费吗?
不需要。不收取数据传出费用,月费在合同期内固定不变。