Servidores de GPU para vídeo e imagem generativos
Servidores NVIDIA dedicados para ComfyUI e outros pipelines de difusão, com 32 GB a 270 GB por GPU, para que os modelos permaneçam carregados e os clipes atinjam a resolução e a duração de que você precisa.
Um servidor de GPU para ComfyUI ou qualquer outro pipeline de difusão é dimensionado pela memória: o modelo, seu codificador de texto e VAE, e os latentes de cada quadro precisam caber na GPU ao mesmo tempo. A 1Legion aluga servidores inteiros de 8 GPUs com placas RTX PRO 6000 Blackwell de 96 GB ou RTX 5090 de 32 GB, e o HGX B300 com 270 GB por GPU para os maiores modelos de vídeo.
Por que a memória da GPU define a resolução, a duração e o tamanho do lote
Em um pipeline de difusão, a memória da GPU determina o tamanho do quadro que você pode gerar, quantos quadros um clipe pode ter e quantos clipes rodam ao mesmo tempo.
Os pesos ocupam 2 bytes por parâmetro em BF16, 1 byte em FP8 e meio byte em FP4.
| Tamanho do modelo | BF16 | FP8 | FP4 |
|---|---|---|---|
| 5B parâmetros | 10 GB | 5 GB | 2,5 GB |
| 14B parâmetros | 28 GB | 14 GB | 7 GB |
| 30B parâmetros | 60 GB | 30 GB | 15 GB |
O codificador de texto e o VAE são carregados além do modelo de difusão. As ativações então crescem com o latente: com um VAE que comprime 8x em cada dimensão espacial e 4x no tempo, e patches de 2 x 2, um único quadro de 1280 x 720 corresponde a 3.600 tokens, e um clipe de 81 quadros, a 75.600. Dobrar o número de quadros dobra os tokens e aproximadamente quadruplica o trabalho de atenção, e cada clipe extra em um lote acrescenta seus próprios latentes. Quando a memória acaba, o ComfyUI transfere pesos para a memória do sistema, uma decodificação de VAE por blocos processa cada quadro em partes, ou você reduz a resolução ou a duração, e cada uma dessas opções custa tempo ou qualidade.
Quais servidores são adequados para trabalhos de difusão
A RTX PRO 6000 Blackwell comporta modelos de vídeo em BF16, a RTX 5090 comporta modelos de imagem e modelos de vídeo quantizados, e o HGX B300 comporta os maiores modelos e o treinamento deles.
RTX PRO 6000 Blackwell
96 GB de GDDR7 com ECC por GPU e 768 GB por servidor, com FP8 e FP4 nos Tensor Cores de quinta geração. Um modelo de 14B em BF16 deixa cerca de 68 GB para o codificador, o VAE e as ativações. Alocação aberta, em Montreal.
GeForce RTX 5090
32 GB de GDDR7 por GPU e 256 GB por servidor, com 21.760 núcleos CUDA e Tensor Cores de quinta geração. Um modelo de 14B em FP8 deixa cerca de 18 GB para o codificador, o VAE e as ativações. Sob consulta.
HGX B300
270 GB de HBM3e por GPU e 2,1 TB por servidor, com NVLink a 1,8 TB/s por GPU quando um modelo ou um clipe longo é dividido entre GPUs. Alocação aberta, em Toronto.
A NVIDIA também destaca a geração de vídeo baseada em difusão para o GB300 NVL72, que reúne 72 GPUs e 20 TB de HBM3e em um único domínio NVLink, mediante reserva.
Como executar o ComfyUI em produção
O ComfyUI executa uma fila por processo, por isso um servidor de produção normalmente roda uma instância por GPU, oito por servidor, atrás do seu próprio roteador de jobs.
- Fixe cada instância em uma GPU: inicie cada processo com
--cuda-deviceapontando para a GPU dele, para que um job longo de vídeo em uma GPU nunca deixe as outras sete mais lentas. - Mantenha os modelos residentes: com 96 GB por GPU, o modelo de difusão, o codificador de texto e o VAE permanecem na memória da GPU entre os jobs, em vez de serem recarregados a cada um.
- Congele seu ambiente: custom nodes, versões de modelos e drivers permanecem como você os configurou, e as mudanças do nosso lado seguem uma gestão de mudanças por escrito, com aviso prévio de pelo menos 7 dias para manutenção de alto risco.
- Codifique na GPU: a RTX PRO 6000 Blackwell tem 4 codificadores NVENC por GPU e a RTX 5090 tem 3, ambas com AV1, para que os clipes finalizados não esperem uma codificação na CPU. A NVIDIA limita as placas GeForce a 12 sessões de codificação simultâneas por sistema.
- Mova os resultados livremente: o vídeo gerado sai do servidor sem taxas de saída de dados.
O mesmo layout se aplica a pipelines construídos com Hugging Face Diffusers ou com seu próprio código PyTorch. Nosso artigo sobre ComfyUI e vídeo com IA em bare metal aborda o ComfyUI em servidores dedicados.
Servidores de inferência para modelos de difusão que dão base ao seu planejamento
Em um servidor que só você usa, um workflow que leva determinado tempo hoje leva o mesmo tempo no mês que vem, então você pode planejar a produção e as datas de entrega com base nas suas próprias medições.
Meça quantos clipes uma GPU gera em uma hora para cada workflow e multiplique por oito GPUs por servidor: essa é a capacidade de um servidor, sem fila compartilhada na frente dos seus jobs e sem outros locatários nas GPUs. O MIG divide uma RTX PRO 6000 Blackwell em até quatro instâncias de 24 GB, ou duas de 48 GB, para modelos de imagem pequenos. Para etapas de LLM no mesmo produto, como expansão de prompts ou geração de legendas, veja servidores de GPU para inferência de IA. Nosso artigo sobre o que cabe em um nó RTX PRO 6000 aborda fine-tuning com QLoRA nas mesmas placas, e o artigo sobre como operar a RTX 5090 em escala aborda movimentação de dados e tempo ocioso.
Servidores de GPU para vídeo generativo com prazos de 36 a 60 meses
Os servidores para vídeo generativo são alugados inteiros, com 8 GPUs por servidor, por 36, 48 ou 60 meses, com um valor mensal fixo definido em uma proposta por escrito.
Você paga a entrada na assinatura e, depois, mensalmente, sem taxas de saída de dados, e prazos mais longos têm valores menores. A RTX PRO 6000 Blackwell opera em Montreal e o HGX B300 em Toronto. Como contratar aborda o onboarding e o contrato.
Perguntas que os compradores fazem
De quanta memória de GPU um workflow de vídeo no ComfyUI precisa?
Some os pesos do modelo de difusão (2 bytes por parâmetro em BF16, 1 em FP8), o codificador de texto e o VAE, e as ativações, que crescem com a resolução e o número de quadros. Um modelo de vídeo de 14B parâmetros precisa de 28 GB em BF16 antes de qualquer outra coisa.
Podemos executar várias instâncias do ComfyUI em um servidor?
Sim. O layout habitual é uma instância por GPU, oito por servidor, cada uma fixada na sua GPU, com seu próprio roteador de jobs na frente.
Uma RTX 5090 é suficiente para geração de vídeo?
Com 32 GB por GPU, ela comporta modelos de imagem e um modelo de vídeo de 14B em FP8, com cerca de 18 GB livres para o codificador de texto, o VAE e as ativações. Para pesos em BF16, clipes mais longos ou resolução maior, escolha a RTX PRO 6000 Blackwell com 96 GB.
Podemos alugar uma GPU por um mês para testar nosso workflow?
Não. Alugamos servidores inteiros por 36, 48 ou 60 meses e não oferecemos períodos de teste nem aluguéis de curto prazo. Os servidores passam por burn-in antes da entrega, com os resultados em um relatório de aceite.
Vocês cobram pelo download do vídeo gerado?
Não. Não há taxas de saída de dados, e o valor mensal é fixo durante o prazo.
Dimensione um servidor para o seu pipeline de vídeo
Informe os modelos, as resoluções, a duração dos clipes e o volume diário, e respondemos com uma proposta por escrito.