NVIDIA HGX B200

HGX B200 подходит командам, которым нужен Blackwell для обучения и инференса, но которые продолжают выполнять вычисления двойной точности. У каждого GPU 180 ГБ HBM3e (1440 ГБ на сервер), поэтому модель с 70 млрд параметров в FP8 (около 70 ГБ весов) помещается на одном GPU, и около 110 ГБ остаётся для KV-кэша и батчинга.

Исследовательские группы и ИИ-команды, которые выполняют моделирование наряду с обучением моделей, получают и то и другое на одной платформе. Командам, которым нужен максимальный объём памяти на GPU, стоит сравнить его с HGX B300, у которого 270 ГБ.

В техническом описании NVIDIA Blackwell указана пропускная способность памяти 7,7 ТБ/с на GPU. Мощность каждого GPU настраивается до 1000 Вт, а для собственной системы DGX B200 NVIDIA указывает около 14,3 кВт, и эта цифра полезна для планирования площадки.

Конфигурация серверов HGX B200 подбирается под ваши требования и подтверждается в вашем коммерческом предложении: CPU, системная память, локальные NVMe-накопители, сетевые адаптеры и охлаждение. В референсной архитектуре NVIDIA DGX B200 каждый GPU получает адаптер ConnectX-7 со скоростью до 400 Гбит/с, а бэкенд-сеть мы рассчитываем под кластер, который вы планируете. Каждый сервер проходит нагрузочный прогон до передачи, и вы получаете результаты в отчёте о приёмке, как описано на странице «Нагрузочный прогон и приёмка».

HGX B200 можно арендовать отдельными серверами или кластером на одной выделенной вам фабрике. Кластер проектируется вместе с вами, от фабрики east-west до CPU-узлов и хранилища, и описывается в вашем коммерческом предложении.

Наши опубликованные референсные архитектуры HGX B300 показывают подход: rail-оптимизированная, полностью неблокирующая фабрика, которую не делит с вами ни один другой клиент, CPU-узлы для сервисов вокруг GPU и хранилище, размер которого задаётся в расчёте на GPU. О том, как кластер строится и передаётся, рассказывает страница «Выделенные GPU-кластеры», а об оркестрации, если вы хотите, чтобы её вели мы, рассказывает страница «Управляемый Kubernetes».

На HGX B200 открыто бронирование. Вы арендуете серверы на 8 GPU целиком по договору на 36, 48 или 60 месяцев, и чем дольше срок, тем ниже ставка.

До подписания договора компания, которая будет использовать серверы, заполняет три формы для подключения. При подписании вы вносите авансовый платёж, а затем платите по единой фиксированной ежемесячной ставке в течение всего срока, без платы за исходящий трафик. Для больших объёмов мощностей может потребоваться обеспечение платежей, например банковская гарантия или аккредитив. Мы не предоставляем пробные периоды: их заменяют нагрузочный прогон и отчёт о приёмке. В вашем коммерческом предложении указывается площадка из числа наших дата-центров, а на странице «Как заказать» подробно описан каждый шаг.

HGX B200 подходит для обучения и дообучения, которые укладываются в 180 ГБ на GPU, для инференса в FP4, FP8 или INT8 и для научных вычислений, которым нужен FP64 наряду с ИИ. На странице «Обучение ИИ» описаны хранилище, обработка сбоев и условия аренды под дорожные карты обучения. Обоснование расчёта конфигурации приведено в статьях «Узкие места обучения базовых моделей» и «Почему длительные запуски обучения срываются в общем облаке».

Если ограничением служит память на GPU, HGX B300 предлагает 270 ГБ на GPU и 108 PFLOPS в FP4 без разреженности на сервер. Если ваш код оптимизирован под Ampere, по запросу доступен A100 80GB.