NVIDIA GeForce RTX 4090

RTX 4090 подходит для пайплайнов рендеринга и обработки изображений, которые помещаются в 24 ГБ на GPU и уже оптимизированы под архитектуру Ada Lovelace. Каждый GPU оснащён 24 ГБ GDDR6X, всего 192 ГБ на сервер.

Типичные задачи: рендеринг финальных кадров и look development, генерация изображений диффузионными моделями и инференс моделей, которые вместе с KV-кэшем помещаются в 24 ГБ, когда каждый GPU работает над своей задачей. Восемь GPU в выделенном сервере дают очереди рендеринга или генерации восемь независимых исполнителей, и других арендаторов на машине нет.

• Память: 24 ГБ GDDR6X с пропускной способностью 1008 ГБ/с на 384-битной шине при 21 Гбит/с, кэш L2 объёмом 72 МБ.
• Вычисления: 16 384 ядра CUDA и 82,6 TFLOPS в FP32 при частоте Boost 2,52 ГГц.
• Тензорные ядра: 512 тензорных ядер четвёртого поколения. Указанные NVIDIA 1321 AI TOPS совпадают с её значением для FP8 с разреженностью; без разреженности производительность FP8 составляет 660,6 TFLOPS с накоплением в FP16.
• Трассировка лучей: 128 RT-ядер третьего поколения с номинальной производительностью 191 TFLOPS.
• Видео: два блока NVENC восьмого поколения и NVDEC пятого поколения, кодирование и декодирование AV1.
• Энергопотребление: 450 Вт на карту (общая мощность видеокарты), 3600 Вт на восемь GPU по данным NVIDIA.

У RTX 4090 нет NVLink: GPU обмениваются данными по PCIe Gen 4. Моделям, которые нужно разделять между несколькими GPU, место на сервере с NVLink, например на A100 80GB или на сервере HGX Blackwell.

Серверы RTX 4090 конфигурируются под ваши требования, а конфигурация подтверждается в коммерческом предложении: модель карты, CPU, системная память, локальные NVMe-накопители и сеть. Данные NVIDIA относятся к её карте Founders Edition толщиной 3 слота, и NVIDIA отмечает, что карты партнёров-производителей могут отличаться частотами, энергопотреблением и размерами, поэтому в предложении указывается модель карты в ваших серверах.

Каждый сервер проходит нагрузочный прогон до передачи, а результаты фиксируются в отчёте о приёмке. Процесс описан на странице «Нагрузочный прогон и приёмка».

Серверы RTX 4090 доступны по запросу. Сообщите нам количество серверов, срок и дату начала, и мы пришлём письменное коммерческое предложение с конфигурацией и графиком поставки.

Вы арендуете серверы на 8 GPU целиком по договору на 36, 48 или 60 месяцев, и чем длиннее срок, тем ниже ставка. Компания, которая будет использовать серверы, до подписания договора заполняет три формы для подключения. При подписании договора вы вносите авансовый платёж, а затем платите по единой фиксированной ежемесячной ставке в течение всего срока, без платы за исходящий трафик при передаче сцен, текстур и кадров. Каждый шаг описан на странице «Как заказать».

RTX 4090 подходит для GPU-рендеринга, генерации изображений диффузионными моделями и инференса моделей, которые укладываются в 24 ГБ на GPU. Модель с 13 млрд параметров в FP16 занимает около 26 ГБ, больше, чем вмещает одна RTX 4090; в FP8 она занимает около 13 ГБ и оставляет место для KV-кэша.

Пайплайны рендеринга и VFX описаны на странице «Медиа и развлечения», а диффузионные нагрузки описаны на странице «Генеративное видео». Статья «ComfyUI и ИИ-видео на выделенном bare metal» объясняет, почему важно, чтобы каждой задаче была доступна вся видеопамять, а статья «10 вопросов, которые раскрывают реальную стоимость вашей облачной GPU-инфраструктуры» помогает сравнить с тем, что вы платите сейчас.

Если 24 ГБ становятся пределом, RTX 5090 предлагает 32 ГБ с пропускной способностью 1792 ГБ/с. Если нужны 48 ГБ с ECC и мосты NVLink между парами карт, смотрите RTX A6000.