GPU-серверы для генеративного видео и изображений
Выделенные серверы NVIDIA для ComfyUI и других диффузионных пайплайнов, от 32 ГБ до 270 ГБ на GPU, чтобы модели оставались загруженными, а клипы получали нужные вам разрешение и длительность.
GPU-сервер для ComfyUI или любого другого диффузионного пайплайна подбирается по памяти: модель, её текстовый энкодер и VAE, а также латенты для каждого кадра должны одновременно поместиться на GPU. Компания 1Legion сдаёт в аренду серверы на 8 GPU целиком с картами RTX PRO 6000 Blackwell на 96 ГБ или RTX 5090 на 32 ГБ, а также HGX B300 с 270 ГБ на GPU для самых крупных видеомоделей.
Почему память GPU определяет разрешение, длительность и размер батча
В диффузионном пайплайне память GPU определяет, насколько большой кадр можно сгенерировать, сколько кадров может содержать один клип и сколько клипов обрабатывается одновременно.
Веса занимают 2 байта на параметр в BF16, 1 байт в FP8 и полбайта в FP4.
| Размер модели | BF16 | FP8 | FP4 |
|---|---|---|---|
| 5 млрд параметров | 10 ГБ | 5 ГБ | 2,5 ГБ |
| 14 млрд параметров | 28 ГБ | 14 ГБ | 7 ГБ |
| 30 млрд параметров | 60 ГБ | 30 ГБ | 15 ГБ |
Текстовый энкодер и VAE загружаются в дополнение к диффузионной модели. Затем активации растут вместе с латентом: при VAE, который сжимает в 8 раз по каждому пространственному измерению и в 4 раза по времени, и патчах 2 × 2 один кадр 1280 × 720 даёт 3600 токенов, а клип из 81 кадра даёт 75 600 токенов. Удвоение числа кадров удваивает число токенов и примерно в четыре раза увеличивает объём вычислений внимания, а каждый дополнительный клип в батче добавляет свои латенты. Когда память заканчивается, ComfyUI выгружает веса в системную память, тайловое декодирование VAE обрабатывает каждый кадр по частям или вы снижаете разрешение или длительность, и каждый из этих вариантов стоит времени или качества.
Какие серверы подходят для диффузионных задач
RTX PRO 6000 Blackwell подходит для видеомоделей в BF16, RTX 5090 подходит для моделей изображений и квантованных видеомоделей, а HGX B300 подходит для самых крупных моделей и их обучения.
RTX PRO 6000 Blackwell
96 ГБ GDDR7 с ECC на GPU и 768 ГБ на сервер, FP8 и FP4 на тензорных ядрах пятого поколения. Модель 14B в BF16 оставляет около 68 ГБ для энкодера, VAE и активаций. Открыто бронирование, площадка в Монреале.
GeForce RTX 5090
32 ГБ GDDR7 на GPU и 256 ГБ на сервер, 21 760 ядер CUDA и тензорные ядра пятого поколения. Модель 14B в FP8 оставляет около 18 ГБ для энкодера, VAE и активаций. По запросу.
HGX B300
270 ГБ HBM3e на GPU и 2,1 ТБ на сервер, NVLink со скоростью 1,8 ТБ/с на GPU, когда модель или длинный клип распределяются по нескольким GPU. Открыто бронирование, площадка в Торонто.
NVIDIA также выделяет генерацию видео на основе диффузии как сценарий для GB300 NVL72, системы, которая объединяет 72 GPU и 20 ТБ HBM3e в одном домене NVLink и доступна по предварительному бронированию.
Запуск ComfyUI в продакшене
ComfyUI использует одну очередь на процесс, поэтому на продакшен-сервере обычно работает по одному экземпляру на GPU, то есть восемь на сервер, за вашим собственным маршрутизатором задач.
- Закрепите каждый экземпляр за GPU: запускайте каждый процесс с параметром
--cuda-device, указывающим на его GPU, чтобы длинная видеозадача на одном GPU никогда не замедляла остальные семь. - Держите модели в памяти: при 96 ГБ на GPU диффузионная модель, текстовый энкодер и VAE остаются в памяти GPU между задачами, а не загружаются заново для каждой.
- Зафиксируйте среду: кастомные ноды, версии моделей и драйверы остаются такими, как вы их настроили, а изменения с нашей стороны проходят по документированной процедуре управления изменениями с уведомлением о работах с высоким риском не менее чем за 7 дней.
- Кодируйте на GPU: у RTX PRO 6000 Blackwell 4 энкодера NVENC на GPU, у RTX 5090 их 3, оба с поддержкой AV1, поэтому готовые клипы не ждут кодирования на CPU. NVIDIA ограничивает карты GeForce 12 одновременными сеансами кодирования на систему.
- Свободно перемещайте результаты: сгенерированное видео выводится с сервера без платы за исходящий трафик.
Та же схема подходит для пайплайнов на Hugging Face Diffusers или на вашем собственном коде PyTorch. Работа ComfyUI на выделенных серверах описана в нашей статье «ComfyUI и ИИ-видео на bare metal».
Серверы для инференса диффузионных моделей, на которые можно опираться при планировании
На сервере, которым пользуетесь только вы, рабочий процесс, который сегодня занимает определённое время, займёт столько же и через месяц, поэтому вы можете планировать объём выпуска и сроки сдачи по собственным измерениям.
Измерьте, сколько клипов один GPU создаёт за час для каждого рабочего процесса, умножьте на восемь GPU в сервере, и вы получите производительность сервера, без общей очереди перед вашими задачами и без других арендаторов на GPU. Для небольших моделей изображений MIG позволяет создать на одном RTX PRO 6000 Blackwell до четырёх экземпляров по 24 ГБ или два экземпляра по 48 ГБ. Для шагов с LLM в том же продукте, например расширения промптов или генерации подписей, смотрите GPU-серверы для инференса ИИ. Наша статья о том, что помещается на узле RTX PRO 6000, описывает дообучение с QLoRA на тех же картах, а статья о работе RTX 5090 в масштабе посвящена перемещению данных и простоям.
GPU-серверы для генеративного видео на срок от 36 до 60 месяцев
Серверы для генеративного видео сдаются в аренду целиком, по 8 GPU в сервере, на 36, 48 или 60 месяцев по единой фиксированной ежемесячной ставке, указанной в письменном коммерческом предложении.
Вы вносите авансовый платёж при подписании договора, затем платите ежемесячно, без платы за исходящий трафик, и чем длиннее срок, тем ниже ставка. Серверы RTX PRO 6000 Blackwell работают в Монреале, а серверы HGX B300 работают в Торонто. Подключение и договор описаны на странице «Как заказать».
Вопросы заказчиков
Сколько памяти GPU нужно рабочему процессу ComfyUI для видео?
Сложите веса диффузионной модели (2 байта на параметр в BF16, 1 байт в FP8), текстовый энкодер и VAE, а также активации, которые растут с разрешением и числом кадров. Видеомодели с 14 млрд параметров нужно 28 ГБ в BF16 ещё до всего остального.
Можно ли запустить несколько экземпляров ComfyUI на одном сервере?
Да. Обычная схема предполагает один экземпляр на GPU, то есть восемь на сервер, каждый закреплён за своим GPU, а перед ними стоит ваш собственный маршрутизатор задач.
Достаточно ли RTX 5090 для генерации видео?
С 32 ГБ на GPU на нём помещаются модели изображений, а также видеомодель 14B в FP8, после которой остаётся около 18 ГБ для текстового энкодера, VAE и активаций. Для весов в BF16, более длинных клипов или более высокого разрешения выбирайте RTX PRO 6000 Blackwell с 96 ГБ.
Можно ли арендовать GPU на месяц, чтобы протестировать наш рабочий процесс?
Нет. Мы сдаём в аренду серверы целиком на 36, 48 или 60 месяцев и не предлагаем пробных периодов или краткосрочной аренды. Серверы проходят нагрузочный прогон до передачи, а результаты фиксируются в отчёте о приёмке.
Берёте ли вы плату за скачивание сгенерированного видео?
Нет. Платы за исходящий трафик нет, а ежемесячная ставка фиксирована на весь срок.
Подберите сервер для вашего видеопайплайна
Укажите модели, разрешения, длительность клипов и суточный объём, и мы ответим письменным коммерческим предложением.