Выделенные GPU-серверы NVIDIA

Мы сдаём выделенные GPU-серверы только целиком и на долгий срок, а каждая цена указывается в письменном коммерческом предложении до подписания договора.

В статье «Bare metal или общая GPU-инфраструктура» объясняется, что меняет выделенное оборудование в промышленной эксплуатации.

Каталог делится на четыре группы по назначению оборудования: обучение, системы масштаба стойки, инференс, а также графика и медиа.

По запросу также доступны серверы A100 80GB SXM с восемью GPU на плате HGX.

Обучение: HGX B300 и HGX B200

HGX B300, наша основная линейка, объединяет восемь GPU Blackwell Ultra по 270 ГБ HBM3e каждый (2,1 ТБ на сервер), соединённых NVLink пятого поколения со скоростью 1,8 ТБ/с на GPU. Из этих серверов построены наши референсные GPU-кластеры с фабрикой 800 Гбит/с на GPU. HGX B200 оснащается 180 ГБ HBM3e на GPU, 1440 ГБ на сервер, и сохраняет гораздо более высокую производительность двойной точности: по данным NVIDIA, 296 TFLOPS FP64 на плату с 8 GPU против 10 TFLOPS у HGX B300. Выбирайте B200, если кластер будет выполнять не только ИИ-нагрузки, но и моделирование или другие задачи FP64. В статье «8 × 270 ГБ: что помещается на узле B300» разобраны модели 405B и 70B.

По предварительному бронированию: GB300 NVL72 и Vera Rubin

GB300 NVL72 представляет собой стойку с жидкостным охлаждением из 72 GPU Blackwell Ultra и 36 CPU Grace в одном домене NVLink; по данным NVIDIA, в ней 20 ТБ HBM3e и суммарная пропускная способность NVLink 130 ТБ/с. Vera Rubin является следующей платформой NVIDIA с 288 ГБ HBM4 на каждый GPU Rubin, и мы заказали серверы Rubin. Обе системы доступны по предварительному бронированию. Наши требования к площадкам включают возможность перехода на прямое жидкостное охлаждение чипов (direct-to-chip) для GB300 NVL72 и последующих систем.

Инференс: RTX PRO 6000 Blackwell и L40S

Серверы RTX PRO 6000 Blackwell оснащены восемью GPU по 96 ГБ GDDR7 каждый, 768 ГБ на сервер, и работают в Монреале. Серверы L40S оснащены восемью GPU по 48 ГБ GDDR6 каждый. Ни у одной из этих карт нет NVLink, поэтому GPU обмениваются данными через PCIe: такие серверы подходят для моделей, каждая реплика которых умещается на одном или нескольких GPU, например для модели 70B в FP8 на одной карте 96 ГБ. В статье «8 × 96 ГБ: что помещается на узле RTX PRO 6000 Blackwell» разобран расчёт памяти.

Графика и медиа: карты GeForce и RTX для рабочих станций

Серверы RTX 5090 (32 ГБ), RTX 4090 (24 ГБ) и RTX A6000 (48 ГБ) оснащены восемью GPU, а серверы RTX 4000 Ada (20 ГБ) и RTX A4000 (16 ГБ) оснащены четырьмя.

У каждого сервера есть одна из трёх меток, которая показывает, в каком состоянии находится его оборудование сейчас.

Выбор сужают четыре вопроса: сколько памяти нужно каждому GPU, как GPU обмениваются данными друг с другом, на сколько серверов распределяется задача и какова рабочая нагрузка.

Память на GPU

Память определяет, что поместится. Веса, а также KV-кэш при инференсе или состояние оптимизатора и активации при обучении должны размещаться в памяти GPU, и модели с 70 млрд параметров в FP8 нужно около 70 ГБ только для весов. Статья «70 ГБ весов, четыре GPU» показывает, сколько места для KV-кэша остаётся при каждом объёме памяти.

Интерконнект

Когда одна модель распределена по нескольким GPU, скорость определяет пропускная способность между GPU. Серверы HGX B300 и B200 дают каждому GPU 1,8 ТБ/с по NVLink, а GB300 NVL72 объединяет 72 GPU в одном домене NVLink, тогда как PCIe-серверы зависят от шины PCIe: у L40S это 64 ГБ/с. Между серверами кластеры HGX B300 используют rail-оптимизированную, полностью неблокирующую фабрику со скоростью 800 Гбит/с на GPU.

Размер кластера

Если нужно больше одного сервера, наши референсные кластеры включают 64, 128 или 288 узлов HGX B300, до 2304 GPU на одной выделенной фабрике, а архитектура допускает и больший масштаб. См. «GPU-кластеры» и спецификацию поставки.

Рабочая нагрузка