NVIDIA GeForce RTX 5090

RTX 5090 рассчитана на пайплайны, которые запускают одну задачу на GPU и которым быстрая память важнее большой: генерация изображений и видео диффузионными моделями, GPU-рендеринг и инференс моделей, которые помещаются в 32 ГБ. Каждый GPU оснащён 32 ГБ GDDR7, всего 256 ГБ на сервер; архитектура Blackwell поддерживает FP4 в тензорных ядрах пятого поколения.

Команды, которые рендерят или генерируют кадры параллельно, получают восемь независимых GPU на сервер, каждый со всей памятью и пропускной способностью карты, и других арендаторов на машине нет.

Главное преимущество этой карты заключается в пропускной способности памяти. По данным NVIDIA, у RTX 5090 она составляет 1792 ГБ/с на 512-битной шине при 28 Гбит/с, то есть больше на GPU, чем 1597 ГБ/с у RTX PRO 6000 Blackwell Server Edition.

• Вычисления: 21 760 ядер CUDA и 104,8 TFLOPS в FP32. Указанные NVIDIA 3352 AI TOPS относятся к FP4 с разреженностью; без разреженности FP4 даёт 1676 TFLOPS.
• Тензорные и RT-ядра: 680 тензорных ядер пятого поколения и 170 RT-ядер четвёртого поколения с номинальной производительностью 318 TFLOPS в трассировке лучей.
• Видео: три блока NVENC девятого поколения и два блока NVDEC шестого поколения на GPU, кодирование и декодирование AV1.
• Энергопотребление: 575 Вт на карту (общая мощность видеокарты) по данным NVIDIA, 4600 Вт на восемь GPU.

У RTX 5090 нет NVLink. GPU обмениваются данными по PCIe Gen 5, а это лучше подходит для задач, которые выполняются на каждом GPU независимо (например, одна диффузионная задача на карту), чем для моделей, разделённых между несколькими GPU.

Серверы RTX 5090 конфигурируются под ваши требования, а конфигурация, включая модель карты, CPU, системную память, хранилище и сеть, подтверждается в вашем коммерческом предложении.

Каждый сервер проходит нагрузочный прогон до передачи, а результаты вносятся в отчёт о приёмке, как описано на странице «Нагрузочный прогон и приёмка».

Серверы RTX 5090 доступны по запросу. Сообщите, сколько серверов вам нужно, на какой срок и с какой даты, и мы подтвердим график поставки в письменном коммерческом предложении. Вы арендуете серверы на 8 GPU целиком по договору на 36, 48 или 60 месяцев, и чем длиннее срок, тем ниже ставка.

Компания, которая будет использовать серверы, до подписания договора заполняет три формы для подключения. После авансового платежа при подписании договора вы платите по единой фиксированной ежемесячной ставке в течение всего срока, без платы за исходящий трафик при передаче медиаданных. Мы не предоставляем пробный период: его заменяют нагрузочный прогон и отчёт о приёмке. Каждый шаг объясняется на странице «Как заказать».

RTX 5090 подходит для ComfyUI и похожих диффузионных пайплайнов, рендеринга и инференса, при котором веса и KV-кэш укладываются в 32 ГБ на GPU. Модель с 24 млрд параметров в FP8 занимает около 24 ГБ, и на карте остаётся около 8 ГБ для KV-кэша и рабочей памяти.

Диффузионные пайплайны на выделенных серверах описаны на странице «Генеративное видео». Статья «Реальная стоимость эксплуатации RTX 5090 в больших масштабах» рассматривает перемещение данных и простои, а статья «ComfyUI и ИИ-видео на выделенном bare metal» посвящена самому пайплайну.

Если 32 ГБ мало для вашего разрешения, длины клипа или размера батча, RTX PRO 6000 Blackwell предлагает 96 ГБ на GPU с ECC. Для пайплайнов, оптимизированных под Ada Lovelace, смотрите RTX 4090.