Наша спецификация поставки HGX B300

Спецификация задаёт базовый уровень, а ваше коммерческое предложение фиксирует каждое изменение относительно него как пронумерованное отклонение. Каждый пункт документа помечен как «Обязательно» или «Предпочтительно». На этой странице минимальные значения обозначены словами «не менее» или «минимум», а предпочтительные варианты помечены словом «предпочтительно».

Спецификация определяет три референсных кластера на 64, 128 и 288 GPU-узлов, и каждый размер включает соответствующие CPU-узлы, control plane и хранилище.

В каждом референсном размере шесть узлов control plane, а спецификация устанавливает размер control plane в 6 узлов на 2304 GPU. Две строки хранилища соответствуют двум вариантам хранения, описанным ниже: полезный объём для СХД или количество узлов для варианта с узлами хранения.

Расчётная мощность

Расчётная ИТ-нагрузка складывается из следующих расчётных значений:

Для размера на 64 узла это 64 GPU-узла мощностью около 14 кВт каждый, плюс 24 CPU-узла, 6 узлов control plane, 9 узлов хранения и сеть из расчёта 5% от нагрузки GPU: в сумме около 0,98 МВт. По этим значениям мы планируем мощность площадки, а договорной максимум кВт на стойку является ключевым показателем, который мы запрашиваем у площадки. Остальные наши требования перечислены на странице «Дата-центры».

У каждого кластера своя фабрика east-west для трафика между GPU и своя сеть north-south, а на границе сети он получает резервированный транзит, очистку трафика от DDoS, NAT и выделенные публичные адреса.

Фабрика east-west

Rail-оптимизированная архитектура означает, что GPU в каждой позиции каждого узла подключается к собственному набору коммутаторов, своему rail, и это сокращает пути между соответствующими GPU. Полная неблокируемость означает, что фабрика может одновременно передавать полную полосу каждого GPU без переподписки между уровнями коммутаторов.

Сеть north-south

Переподпиской называют отношение пропускной способности, которую leaf-коммутатор предоставляет своим узлам, к пропускной способности его восходящих каналов. У leaf-коммутаторов хранилища переподписки нет, поэтому восходящие каналы не сдерживают чтение и запись контрольных точек, а у leaf-коммутаторов GPU она остаётся ниже 4:1. RoCEv2 передаёт RDMA по этой сети Ethernet, а MTU 9000 (jumbo-кадры) снижает накладные расходы на каждый пакет при больших передачах.

Внешняя сеть и интернет-сервисы

• Транзит и маршрутизация. Два независимых провайдера на физически разнесённых трассах означают, что один перерезанный кабель или сбой у одного провайдера не становится единой точкой отказа. BFD быстро обнаруживает отказавший канал, и eBGP в течение минуты переключается на другого провайдера.
• Пограничные маршрутизаторы. Два резервированных маршрутизатора с питанием по вводам A и B, поэтому внешняя сеть не зависит от одного маршрутизатора или одного ввода питания.
• Пограничные ACL. Списки контроля доступа на границе сети настраиваются по вашим правилам, а изменения мы вносим в течение одного рабочего дня.
• Защита от DDoS. Объёмные атаки на уровнях 3 и 4 перенаправляются через BGP к признанному провайдеру очистки трафика. Очистка включается в течение 5 минут, её ёмкость составляет не менее 1 Тбит/с.
• NAT и исходящий трафик. Исходящий трафик выходит через резервированную пару, которая поддерживает не менее 10 млн одновременных сессий, с адресов SNAT, которые используете только вы, поэтому партнёры могут внести ваш трафик в списки разрешённых.
• Публичные адреса сервисов. Обычно восемь выделенных адресов для ваших сервисов. Вы можете анонсировать виртуальные IP через BGP, переключение происходит в течение 5 секунд, а IPv6 работает в режиме dual stack.
• Ваше адресное пространство IP и ASN. Если у вас есть собственные префиксы и ASN, внешняя сеть может их анонсировать. Мы соблюдаем ваши авторизации источника маршрута RPKI (ROA), которые сообщают другим сетям, какой ASN может быть источником ваших префиксов, а сессии BGP проходят аутентификацию.
• Сетевая телеметрия. Оба пограничных маршрутизатора отправляют записи о потоках NetFlow v9 или IPFIX в ваш коллектор, поэтому вы видите собственный трафик.

Спецификация также описывает, что происходит до и после передачи: нагрузочный прогон перед ней и письменные обязательства по эксплуатации после неё.

До передачи каждый кластер проходит валидацию оборудования NVIDIA для провайдеров инференса (тесты с HW-1 по HW-5), а результаты вы получаете в отчёте о приёмке. Что доказывает каждый тест, объясняется на странице «Нагрузочный прогон и приёмка».

После передачи порядок эксплуатации кластера определяет раздел 15 спецификации, начиная со следующих обязательств:

Полный перечень, включая реестр оборудования, управление изменениями и обработку аппаратных сбоев, приведён на странице «Обязательства по эксплуатации». Внеполосная телеметрия оборудования поступает от BMC через Redfish, а сетевая телеметрия и телеметрия площадки поступают там, где они доступны. Эксплуатационная телеметрия хранится не менее 30 дней, а история инцидентов и состояний хранится не менее 12 месяцев.

Технические описания доступны в виде PDF-файлов, чтобы ваши инженеры и отдел закупок могли их изучить и передать дальше.

• Техническое описание сервера NVIDIA HGX B300PDF. GPU-узел, CPU-узлы и узлы control plane, сетевые интерфейсы. Скачать PDF
• Референсные кластеры HGX B300: 64, 128 и 288 узловPDF. Размеры кластеров, хранилище, фабрика и внешняя сеть. Скачать PDF
• Требования к партнёрским дата-центрам, краткая версияPDF. Электропитание, охлаждение, подтверждение сертификации, персонал и сетевое подключение. Скачать PDF
• Как устроены договоры 1LegionPDF. Условия договора, подключение, выставление счетов и что включено. Скачать PDF

Все публикуемые нами документы собраны на странице «Документы для скачивания». Чтобы обсудить конфигурацию на основе этой спецификации, свяжитесь с инженером.