ComfyUI 또는 기타 디퓨전 파이프라인용 GPU 서버는 메모리를 기준으로 규모를 산정합니다. 모델, 텍스트 인코더와 VAE, 그리고 모든 프레임의 잠재 표현이 한꺼번에 GPU에 들어가야 하기 때문입니다. 1Legion은 96 GB RTX PRO 6000 Blackwell 또는 32 GB RTX 5090 카드를 탑재한 8-GPU 서버를 서버 전체 단위로 임대하며, 가장 큰 영상 모델용으로 GPU당 270 GB의 HGX B300을 제공합니다.
GPU 메모리가 해상도, 길이 및 배치 크기를 결정하는 이유
디퓨전 파이프라인에서는 GPU 메모리가 생성 가능한 프레임 크기, 클립 하나에 담을 수 있는 프레임 수, 동시에 실행할 수 있는 클립 수를 결정합니다.
가중치는 BF16에서 파라미터당 2바이트, FP8에서 1바이트, FP4에서 0.5바이트를 차지합니다.
| 모델 크기 | BF16 | FP8 | FP4 |
|---|---|---|---|
| 5B 파라미터 | 10 GB | 5 GB | 2.5 GB |
| 14B 파라미터 | 28 GB | 14 GB | 7 GB |
| 30B 파라미터 | 60 GB | 30 GB | 15 GB |
텍스트 인코더와 VAE는 디퓨전 모델에 더해 적재됩니다. 그다음 활성화 값은 잠재 표현의 크기에 따라 커집니다. 공간 차원마다 8배, 시간 차원으로 4배 압축하는 VAE와 2 x 2 패치를 사용하면, 1280 x 720 프레임 하나는 3,600토큰이고 81프레임 클립은 75,600토큰입니다. 프레임 수를 2배로 늘리면 토큰도 2배가 되고 어텐션 연산량은 약 4배가 되며, 배치에 클립을 추가할 때마다 해당 클립의 잠재 표현이 더해집니다. 메모리가 부족하면 ComfyUI가 가중치를 시스템 메모리로 오프로드하거나, 타일 방식 VAE 디코딩으로 각 프레임을 나눠 처리하거나, 해상도나 길이를 낮춰야 하며, 어느 방법이든 시간이나 품질 면에서 대가가 따릅니다.
디퓨전 작업에 적합한 서버
RTX PRO 6000 Blackwell은 BF16 영상 모델에, RTX 5090은 이미지 모델과 양자화된 영상 모델에, HGX B300은 가장 큰 모델과 그 학습에 적합합니다.
RTX PRO 6000 Blackwell
GPU당 ECC 지원 GDDR7 96 GB, 서버당 768 GB, 5세대 Tensor 코어에서 FP8 및 FP4 지원. BF16 기준 14B 모델은 인코더, VAE 및 활성화 값용으로 약 68 GB를 남깁니다. 할당 접수 중, 몬트리올.
GeForce RTX 5090
GPU당 GDDR7 32 GB, 서버당 256 GB, CUDA 코어 21,760개와 5세대 Tensor 코어. FP8 기준 14B 모델은 인코더, VAE 및 활성화 값용으로 약 18 GB를 남깁니다. 요청 시 제공.
HGX B300
GPU당 HBM3e 270 GB, 서버당 2.1 TB, 모델이나 긴 클립을 여러 GPU에 나눌 때 GPU당 1.8 TB/s의 NVLink. 할당 접수 중, 토론토.
NVIDIA는 GPU 72개와 HBM3e 20 TB를 단일 NVLink 도메인에 담은 GB300 NVL72의 용도로 디퓨전 기반 영상 생성도 제시하며, 1Legion은 이를 사전 예약으로 제공합니다.
프로덕션 환경에서 ComfyUI 운영
ComfyUI는 프로세스당 하나의 큐를 실행하므로, 프로덕션 서버에서는 일반적으로 귀사의 자체 작업 라우터 뒤에서 GPU당 인스턴스 1개, 서버당 8개를 실행합니다.
- 각 인스턴스를 GPU에 고정: 각 프로세스를 해당 GPU로 설정한
--cuda-device로 시작하면, 한 GPU의 긴 영상 작업이 나머지 7개 GPU를 느리게 하는 일이 없습니다. - 모델 상주: GPU당 96 GB이므로 디퓨전 모델, 텍스트 인코더 및 VAE가 작업마다 다시 로드되지 않고 작업 사이에도 GPU 메모리에 상주합니다.
- 환경 고정: 커스텀 노드, 모델 버전 및 드라이버는 귀사가 설정한 그대로 유지되며, 1Legion 측의 변경은 서면 변경 관리 절차를 따르고 고위험 유지보수는 최소 7일 전에 통지합니다.
- GPU에서 인코딩: RTX PRO 6000 Blackwell은 GPU당 NVENC 인코더 4개, RTX 5090은 3개를 갖추고 있으며 둘 다 AV1을 지원하므로, 완성된 클립이 CPU 인코딩을 기다리지 않습니다. NVIDIA는 GeForce 카드의 동시 인코딩 세션을 시스템당 12개로 제한합니다.
- 자유로운 결과물 이동: 생성된 영상은 이그레스 요금 없이 서버 밖으로 전송됩니다.
Hugging Face Diffusers나 자체 PyTorch 코드로 구축한 파이프라인에도 같은 구성이 적용됩니다. 전용 서버에서의 ComfyUI 운영은 베어메탈 기반 ComfyUI 및 AI 영상에 관한 글에서 다룹니다.
계획대로 운영할 수 있는 디퓨전 모델 추론 서버
귀사만 사용하는 서버에서는 오늘 일정 시간이 걸린 워크플로가 다음 달에도 같은 시간이 걸리므로, 직접 측정한 값을 바탕으로 생산량과 납기를 계획할 수 있습니다.
워크플로별로 GPU 1개가 1시간에 생성하는 클립 수를 측정해 서버당 GPU 8개를 곱하면 서버 한 대의 처리 용량이 나옵니다. 귀사 작업 앞에 공유 대기열이 없고 GPU에 다른 테넌트도 없습니다. 소형 이미지 모델의 경우 MIG를 사용하면 RTX PRO 6000 Blackwell 1개를 최대 4개의 24 GB 인스턴스 또는 2개의 48 GB 인스턴스로 분할할 수 있습니다. 프롬프트 확장이나 캡셔닝 등 같은 제품 내 LLM 단계는 AI 추론용 GPU 서버를 참조해 주십시오. 같은 카드에서 QLoRA로 파인튜닝하는 방법은 RTX PRO 6000 노드에 담을 수 있는 것에 관한 글에서, 데이터 이동과 유휴 시간은 RTX 5090의 대규모 운영에 관한 글에서 다룹니다.
36~60개월 약정의 생성형 영상 GPU 서버
생성형 영상 서버는 서버당 GPU 8개 구성으로 서버 전체 단위로 임대되며, 서면 제안서에 명시된 단일 월 고정 요금으로 36개월, 48개월 또는 60개월 동안 이용합니다.
계약 체결 시 계약금을 지급하시고 이후 매월 지급하시며, 이그레스 요금은 없고 약정 기간이 길수록 요금이 낮아집니다. RTX PRO 6000 Blackwell은 몬트리올에서, HGX B300은 토론토에서 운영됩니다. 온보딩과 계약은 구매 방법에서 설명합니다.
구매자가 묻는 질문
ComfyUI 영상 워크플로에는 GPU 메모리가 얼마나 필요한가요?
디퓨전 모델 가중치(BF16에서 파라미터당 2바이트, FP8에서 1바이트), 텍스트 인코더와 VAE, 그리고 해상도와 프레임 수에 따라 커지는 활성화 값을 더한 만큼이 필요합니다. 14B 파라미터 영상 모델은 다른 요소를 제외하고도 BF16 기준 28 GB가 필요합니다.
서버 하나에서 ComfyUI 인스턴스를 여러 개 실행할 수 있나요?
네. 일반적인 구성은 GPU당 인스턴스 1개, 서버당 8개이며, 각 인스턴스를 해당 GPU에 고정하고 그 앞에 귀사의 자체 작업 라우터를 둡니다.
영상 생성에 RTX 5090이면 충분한가요?
GPU당 32 GB이므로 이미지 모델에 적합하며, FP8 기준 14B 영상 모델도 텍스트 인코더, VAE 및 활성화 값용으로 약 18 GB를 남기고 담을 수 있습니다. BF16 가중치, 더 긴 클립 또는 더 높은 해상도가 필요하다면 96 GB의 RTX PRO 6000 Blackwell을 선택하시면 됩니다.
워크플로 테스트를 위해 GPU를 한 달 동안 임대할 수 있나요?
아니요. 1Legion은 서버 전체를 36개월, 48개월 또는 60개월 동안 임대하며, 시범 사용이나 단기 임대는 제공하지 않습니다. 서버는 인도 전에 번인 테스트를 거치며, 그 결과는 검수 보고서에 담깁니다.
생성된 영상을 다운로드할 때 요금이 부과되나요?
아니요. 이그레스 요금은 없으며, 월 요금은 약정 기간 동안 고정됩니다.