Выделенные GPU-кластеры
Кластеры HGX B300 на 64, 128 или 288 узлов, построенные по нашей опубликованной спецификации поставки, прошедшие нагрузочный прогон до передачи и работающие на фабрике, которой не пользуется ни один другой клиент.
GPU-кластер 1Legion представляет собой законченную систему NVIDIA HGX B300, выделенную одному клиенту: GPU-серверы, CPU-узлы, control plane, хранилище, неблокирующая фабрика east-west, сеть north-south и внешняя сеть с выходом в интернет. Мы строим его по нашей опубликованной спецификации поставки, проводим нагрузочный прогон с помощью тестов валидации оборудования NVIDIA и эксплуатируем в течение всего срока договора, от 36 до 60 месяцев.
Что входит в выделенный ИИ-кластер
Каждый уровень кластера, от GPU до сети north-south, обслуживает одного клиента, и каждый уровень письменно зафиксирован в спецификации до подписания договора.
| Узел | Назначение | Характеристики |
|---|---|---|
| GPU-узел | Выполняет ваши задачи обучения и инференса | NVIDIA HGX B300, 8 GPU по 270 ГБ HBM3e каждый; не менее 128 vCPU; системная память: предпочтительно 3 ТБ, не менее 1,92 ТБ; не менее 9,2 ТБ сырой ёмкости локальных NVMe-накопителей; 800 Гбит/с на GPU на NVIDIA ConnectX-8 (предпочтительно); фронтенд на NVIDIA BlueField-3, 2 × 400 Гбит/с (предпочтительно); воздушное охлаждение по рекомендации OEM |
| CPU-узел | Выполняет сервисы вокруг GPU: обслуживание моделей, маршрутизацию и пакетные задания | x86, не менее 128 vCPU с базовой частотой более 3 ГГц, предпочтительно AMD EPYC 9565 или 9575F; 4 ГБ памяти на поток; фронтенд на BlueField-3 |
| Узел control plane | Control plane кластера | 32 vCPU с частотой более 3,65 ГГц, предпочтительно AMD EPYC 9175F; 128 ГБ памяти; на 2304 GPU шесть узлов, распределённых по двум стойкам |
Число CPU-узлов рассчитывается по числу GPU: не менее 6 аппаратных потоков и 24 ГБ памяти на каждый GPU кластера. В статье «B300 для лабораторий ИИ-моделей» описано, какие требования длительное обучение предъявляет к каждому уровню.
Референсные конфигурации кластеров HGX B300
Три референсных размера определяют, сколько CPU-узлов, узлов control plane, хранилища и мегаватт приходится на заданное число GPU-узлов.
| Позиция | 64 узла | 128 узлов | 288 узлов |
|---|---|---|---|
| GPU-узлы (по 8 GPU) | 64 | 128 | 288 |
| GPU | 512 | 1024 | 2304 |
| CPU-узлы | 24 | 48 | 108 |
| Узлы control plane | 6 | 6 | 6 |
| Хранилище, вариант с СХД (полезный объём) | 512 ТБ | 1024 ТБ | 2304 ТБ |
| Хранилище, вариант с узлами хранения | 9 узлов | 17 узлов | 38 узлов |
| Расчётная ИТ-нагрузка | около 0,98 МВт | около 1,95 МВт | около 4,39 МВт |
Пропорции сохраняются при любом размере. При 24, 48 и 108 CPU-узлах по 128 vCPU на каждый GPU приходится 6 аппаратных потоков. Система хранения данных (СХД) вмещает не менее 1 ТБ полезной ёмкости на GPU. Шести узлов control plane достаточно для всех трёх размеров, поскольку спецификация предусматривает шесть таких узлов на 2304 GPU. Суммарный объём HBM3e в трёх размерах составляет около 138 ТБ, 276 ТБ и 622 ТБ, а ИТ-нагрузка укладывается в 1 МВт, 2 МВт и 4,4 МВт.
Архитектура рассчитана на больший масштаб
Референсные размеры ограничены 288 узлами, но у архитектуры такого ограничения нет. Спецификация задаёт размер каждого уровня в расчёте на GPU: 800 Гбит/с фабрики, 6 потоков CPU и 24 ГБ памяти CPU, а также 1 ТБ полезной ёмкости хранилища. Более крупный кластер сохраняет эти пропорции, а архитектура, площадка и электропитание описываются в вашем коммерческом предложении. Кластеры HGX B300 уже работают в Торонто, а мощности в Делавэре (США) вводятся в эксплуатацию.
Фабрика east-west: Ethernet или InfiniBand
У каждого GPU есть собственный канал 800 Гбит/с в rail-оптимизированную, полностью неблокирующую фабрику, по которой идёт только ваш трафик.
- Пропускная способность: плоскости 1 × 800 Гбит/с или 2 × 400 Гбит/с на GPU, 6,4 Тбит/с на сервер; предпочтительны сетевые адаптеры NVIDIA ConnectX-8.
- Rail-оптимизация: сетевой адаптер GPU 1 в каждом сервере подключается к rail 1, адаптер GPU 2 подключается к rail 2, и так далее.
- Неблокирующая сеть: в фабрике нет переподписки, поэтому каждый GPU может передавать данные на полной скорости одновременно с остальными.
- Коммутация: предпочтительно NVIDIA Spectrum-X или Broadcom Tomahawk 6; допускаются NVIDIA Quantum InfiniBand или Tomahawk 5.
- Проверка до передачи: пропускная способность NCCL с помощью nccl-tests, с SHARP там, где он поддерживается (HW-1), и каждый rail InfiniBand или RoCE с помощью ib_write_bw (HW-2).
В статье «Узкие места обучения базовых моделей» объясняется, почему производительность обучения определяется пропускной способностью интерконнекта и памяти в большей степени, чем числом GPU.
Хранилище, сеть north-south и внешняя сеть
Хранилище и сети вокруг фабрики описаны в расчёте на GPU и на узел в том же документе, что и GPU.
- Хранилище, вариант A: СХД VAST Data, WEKA или DDN под управлением производителя, не менее 1 ТБ полезной ёмкости на GPU, с эскалацией к производителю 24/7 и гарантированными пропускной способностью и задержкой для каждого уровня хранения.
- Хранилище, вариант B: узлы хранения для вашего собственного ПО хранения, не менее 3 ТБ сырой ёмкости на GPU на NVMe-накопителях PCIe 5.0 по 30,72 ТБ, минимум 9 узлов.
- Сеть north-south: предпочтительно 400 Гбит/с на узел, минимум 200 Гбит/с; без переподписки на leaf-коммутаторах хранилища и менее 4:1 на leaf-коммутаторах GPU; RoCEv2 и MTU 9000.
- Внешняя сеть: два независимых транзитных провайдера по 100 Гбит/с на канал, eBGP с BFD и очистка трафика от DDoS, которая включается через BGP в течение 5 минут.
NAT, публичные адреса, ваше собственное IP-пространство и ASN, а также телеметрия потоков описаны на странице «Хранилище и сеть».
Планирование электропитания GPU-кластера
Закладывайте около 14 кВт на GPU-узел: с учётом CPU-узлов, control plane, узлов хранения и сети кластеру на 64 узла нужно около 0,98 МВт ИТ-нагрузки.
| Кластер на 64 узла | Количество | Расчётное значение | Нагрузка |
|---|---|---|---|
| GPU-узлы | 64 | около 14 кВт каждый | 896 кВт |
| CPU-узлы | 24 | 1,0 кВт каждый | 24 кВт |
| Узлы control plane | 6 | 0,5 кВт каждый | 3 кВт |
| Узлы хранения, вариант B | 9 | 1,3 кВт каждый | 11,7 кВт |
| Сеть | 5% от нагрузки GPU | 44,8 кВт | |
| Итого | около 0,98 МВт |
Тот же метод даёт около 1,95 МВт для 128 узлов и 4,39 МВт для 288 узлов. Цифра 14 кВт является рабочим допущением для узла HGX B300 с воздушным охлаждением; NVIDIA указывает около 14 кВт для собственной системы DGX B300. Площадка должна закрепить в договоре максимальную мощность в кВт на стойку, и именно это число определяет, сколько GPU-узлов размещается в одной стойке. Остальные требования к площадке перечислены на странице «Дата-центры».
Как поставляется кластер
Путь кластера от коммерческого предложения до промышленной эксплуатации состоит из пяти этапов, и отчёт о приёмке отмечает границу между его построением и эксплуатацией.
Коммерческое предложение
Мы направляем письменное коммерческое предложение на основе спецификации поставки. Каждый пункт помечен как «Обязательно» или «Предпочтительно», а любое нужное вам изменение указывается как пронумерованное отклонение.
Договор и подключение
Компания, которая будет использовать кластер, заполняет три формы для подключения, подписывает договор аренды и вносит авансовый платёж. Для больших объёмов мощностей может потребоваться банковская гарантия или аккредитив.
Построение
Мы монтируем серверы в стойки, строим фабрику, сеть north-south и внешнюю сеть и заносим каждую стойку, узел, GPU, сетевой адаптер, накопитель, коммутатор, порт, трансивер и кабель в единый эталонный реестр оборудования.
Нагрузочный прогон
Кластер проходит тесты валидации оборудования NVIDIA с HW-1 по HW-5: пропускная способность NCCL, каждый rail фабрики, GPUDirect RDMA и хранилище, NVLink и NVSwitch, а также 24-часовой тест под нагрузкой при постоянном лимите мощности.
Передача и эксплуатация
Вы получаете отчёт о приёмке со всеми результатами. Затем мы эксплуатируем кластер в соответствии с нашими обязательствами по эксплуатации, с общим каналом в Slack и закреплённым техническим аккаунт-менеджером.
На странице «Нагрузочный прогон и приёмка» описан каждый тест и то, что происходит, если узел его не проходит.
Вопросы заказчиков
Фабрика построена на InfiniBand или на Ethernet?
В нашей спецификации поставки предпочтителен Ethernet на NVIDIA Spectrum-X или Broadcom Tomahawk 6, а NVIDIA Quantum InfiniBand или Tomahawk 5 допускаются. В любом случае фабрика является rail-оптимизированной и полностью неблокирующей и обеспечивает 800 Гбит/с на GPU.
Используется ли кластер совместно с другими клиентами?
Нет. GPU-серверы, фабрика east-west и сеть north-south выделены одному клиенту.
Какая мощность нужна GPU-кластеру?
Около 0,98 МВт ИТ-нагрузки для 64 узлов, 1,95 МВт для 128 и 4,39 МВт для 288 при расчёте около 14 кВт на GPU-узел.
GPU-узлы охлаждаются воздухом или жидкостью?
Узлы HGX B300 охлаждаются воздухом: так рекомендует OEM для кластерных развёртываний. GB300 NVL72, доступная по предварительному бронированию, охлаждается жидкостью.
Увидим ли мы результаты нагрузочного прогона?
Да. Каждый кластер до передачи проходит тесты валидации оборудования NVIDIA с HW-1 по HW-5, и вы получаете результаты в отчёте о приёмке. См. «Нагрузочный прогон и приёмка».
Может ли кластер быть больше 288 узлов?
Да. Спецификация задаёт размер каждого уровня в расчёте на GPU, поэтому более крупный кластер сохраняет те же пропорции. Архитектура, площадка и электропитание описываются в вашем коммерческом предложении.
Расскажите, что вам нужно запускать.
Укажите оборудование, количество серверов, срок и дату начала. Вы получите письменное коммерческое предложение на основе нашей спецификации поставки.