NVIDIA GB300 NVL72

GB300 NVL72 предназначена для моделей, которым нужно, чтобы более восьми GPU обменивались данными на скорости NVLink. В сервере на 8 GPU трафик между серверами идёт через сеть со скоростью 800 Гбит/с на GPU. В стойке GB300 NVL72 все 72 GPU находятся в одном домене NVLink со скоростью 1,8 ТБ/с на GPU и 130 ТБ/с в сумме.

Это важно для моделей mixture-of-experts, которые распределяют экспертов по многим GPU, для больших групп тензорного параллелизма при обучении и для рассуждающих моделей, которые обслуживают длинные контексты для множества пользователей одновременно. NVIDIA также позиционирует эту стойку для диффузионной генерации видео.

Как и HGX B300, GB300 NVL72 рассчитана на числовые форматы ИИ: по данным NVIDIA, производительность всей стойки в FP64 составляет 100 TFLOPS.

GB300 NVL72 сдаётся в аренду стойкой целиком, в конфигурации под ваши требования, которая подтверждается в вашем коммерческом предложении. NVIDIA проектирует её как систему с полностью жидкостным охлаждением, поэтому мы размещаем её только на площадке с прямым жидкостным охлаждением чипов, которая соответствует нашим требованиям к дата-центрам: договорной максимум кВт на стойку, две линии питания по вводам A и B к каждой стойке и возможность параллельного обслуживания систем питания и охлаждения.

NVIDIA не публикует значение мощности стойки для GB300 NVL72, поэтому оно подтверждается для выбранной системы до размещения. Как мы выбираем площадки, объясняется на странице «Дата-центры».

GB300 NVL72 доступна по предварительному бронированию: вы бронируете стойки до развёртывания. Мы не публикуем сроки поставки; график для ваших стоек согласуется письменно.

1. Запрос и коммерческое предложение

   Сообщите, сколько стоек вам нужно и к какому сроку. В нашем письменном коммерческом предложении указываются конфигурация, цена и график поставки.

2. Подключение и договор

   Компания, которая будет использовать стойки, заполняет три формы для подключения, затем подписывает договор на 36, 48 или 60 месяцев и вносит авансовый платёж. Для объёмов мощностей такого размера может потребоваться обеспечение платежей, например банковская гарантия или аккредитив.

3. Нагрузочный прогон и передача

   Каждая стойка проходит нагрузочный прогон до передачи, и вы получаете результаты в отчёте о приёмке. Счета выставляются ежемесячно по единой фиксированной ставке в течение всего срока, без платы за исходящий трафик.

Чем дольше срок, тем ниже ставка. Формы и структура платежей подробно описаны на странице «Как заказать».

GB300 NVL72 подходит для инференса масштаба стойки для рассуждающих моделей и моделей mixture-of-experts, а также для обучения, при котором параллелизм модели выходит за пределы одного сервера на 8 GPU. Окружающая инфраструктура описана на наших страницах «Обучение ИИ» и «Инференс ИИ». Статья «Узкие места обучения базовых моделей» объясняет, почему после разделения модели предел задаёт интерконнект, а статья «8 × 270 ГБ: что помещается на узле B300» показывает, где заканчиваются возможности одного GPU.

Если мощности нужны раньше, на HGX B300 открыто бронирование: кластеры от 64 до 288 узлов на выделенной фабрике описаны на странице «GPU-кластеры». О следующем после Blackwell Ultra поколении, которое также доступно по предварительному бронированию, см. NVIDIA Vera Rubin.