GPU-кластеры для обучения ИИ
Выделенные кластеры NVIDIA HGX B300 с 270 ГБ HBM3e и фабрикой 800 Гбит/с на GPU, построенные по опубликованной спецификации и прошедшие нагрузочный прогон до вашего первого шага обучения.
GPU-кластер 1Legion для обучения ИИ представляет собой набор серверов NVIDIA HGX B300 целиком на фабрике east-west, по которой идёт только ваш трафик; он сдаётся в аренду одному клиенту на 36, 48 или 60 месяцев. Мы строим каждый кластер по нашей опубликованной спецификации поставки и проводим нагрузочный прогон до передачи, поэтому первый шаг многонедельного запуска выполняется на узлах, которые уже прошли 24-часовой тест под нагрузкой.
Что должна выдерживать инфраструктура для обучения LLM
Запуску обучения, который длится неделями, нужны память для состояния оптимизатора, фабрика без медленных каналов, быстрое хранилище для контрольных точек и среда, которая не меняется во время запуска.
Память для состояния оптимизатора
При обучении со смешанной точностью с оптимизатором Adam веса, градиенты и состояние оптимизатора занимают около 16 байт на параметр. Для модели с 70 млрд параметров это составляет около 1,1 ТБ без учёта активаций, и такой объём помещается в 2,1 ТБ HBM3e одного сервера HGX B300.
Фабрика без медленных каналов
При шардированном обучении и обучении с параллелизмом по данным градиенты синхронизируются между всеми GPU на каждом шаге, поэтому один перегруженный канал замедляет весь кластер. Наши фабрики для HGX B300 полностью неблокирующие и обеспечивают 800 Гбит/с на GPU.
Пропускная способность при сохранении контрольных точек
Контрольная точка с мастер-весами в FP32 и состоянием Adam для модели с 70 млрд параметров занимает около 840 ГБ, а синхронное сохранение задерживает все GPU, пока она не будет записана. Объём хранилища рассчитывается на каждый GPU, а контрольные точки выводятся из кластера без платы за исходящий трафик.
Среда, которая не меняется
Ваши серверы и вашу фабрику не делит с вами ни один другой арендатор. Изменения с нашей стороны проходят по документированной процедуре управления изменениями, с уведомлением о работах с высоким риском не менее чем за 7 дней.
Наша статья об узких местах обучения объясняет, почему производительность обучения определяют память и интерконнект, а не число GPU.
Какие серверы подходят для задач обучения
HGX B300 является нашей основной платформой для обучения, для HGX B200 также открыто бронирование, а GB300 NVL72 и Vera Rubin доступны по предварительному бронированию.
- Память на GPU
- 270 ГБ HBM3e
- GPU на сервер
- 8
- Память на GPU
- 180 ГБ HBM3e
- GPU на сервер
- 8
- Память на GPU
- 279 ГБ HBM3e
- GPU на стойку
- 72
- Память на GPU
- 288 ГБ HBM4
- GPU на сервер
- 8
| Сервер на 8 GPU | HGX B300 | HGX B200 |
|---|---|---|
| Память GPU на сервер | 2,1 ТБ HBM3e | 1440 ГБ HBM3e |
| Пропускная способность памяти на GPU | 7,7 ТБ/с | 7,7 ТБ/с |
| NVLink | 1,8 ТБ/с на GPU, всего 14,4 ТБ/с | 1,8 ТБ/с на GPU, всего 14,4 ТБ/с |
| FP4 Tensor на сервер, с разреженностью и без разреженности | 144 и 108 PFLOPS | 144 и 72 PFLOPS |
| FP8 Tensor на сервер, с разреженностью | 72 PFLOPS | 72 PFLOPS |
| FP64 на сервер | 10 TFLOPS | 296 TFLOPS |
Выбирайте HGX B300, когда схему шардирования определяет объём памяти на GPU: 270 ГБ вмещают 140 ГБ весов модели с 70 млрд параметров в BF16 на одном GPU с запасом 130 ГБ. Выбирайте HGX B200, когда ваша работа сочетает обучение с моделированием в FP64. GB300 NVL72 объединяет 72 GPU Blackwell Ultra и 36 CPU Grace в одном домене NVLink с жидкостным охлаждением, с 20 ТБ HBM3e и пропускной способностью NVLink 130 ТБ/с. Следующая платформа NVIDIA, которую мы заказали, называется Vera Rubin: 288 ГБ HBM4 на GPU и NVLink шестого поколения.
Выделенная неблокирующая фабрика
Каждый кластер HGX B300 получает собственную фабрику east-west, rail-оптимизированную и полностью неблокирующую, с 800 Гбит/с на GPU.
- Пропускная способность: плоскости 1 × 800 или 2 × 400 Гбит/с на GPU, 6,4 Тбит/с на сервер, предпочтительно с NVIDIA ConnectX-8.
- Коммутация: предпочтительно NVIDIA Spectrum-X или Broadcom Tomahawk 6, допускаются NVIDIA Quantum InfiniBand или Tomahawk 5.
- Внутри каждого сервера: NVLink пятого поколения, 1,8 ТБ/с на GPU.
- Хранилище и сервисы: отдельная сеть north-south, предпочтительно 400 Гбит/с на узел, с поддержкой RoCEv2, MTU 9000, без переподписки на leaf-коммутаторах хранилища.
Кластеры бывают трёх референсных размеров, а более крупные кластеры строятся по той же архитектуре.
| Позиция | 64 узла | 128 узлов | 288 узлов |
|---|---|---|---|
| GPU-узлы (по 8 GPU) | 64 | 128 | 288 |
| GPU | 512 | 1024 | 2304 |
| CPU-узлы | 24 | 48 | 108 |
| Узлы control plane | 6 | 6 | 6 |
| Хранилище, вариант с СХД (полезный объём) | 512 ТБ | 1024 ТБ | 2304 ТБ |
| Хранилище, вариант с узлами хранения | 9 узлов | 17 узлов | 38 узлов |
| Расчётная ИТ-нагрузка | около 0,98 МВт | около 1,95 МВт | около 4,39 МВт |
Каждый размер включает CPU-узлы для обслуживания запросов, маршрутизации и пакетных задач из расчёта не менее 6 аппаратных потоков и 24 ГБ памяти на каждый GPU кластера, а также шесть узлов control plane, распределённых по двум стойкам. Планирование энергопотребления из расчёта около 14 кВт на GPU-узел описано на странице «GPU-кластеры».
Хранилище для контрольных точек и датасетов
Хранилище предлагается в двух вариантах, размер обоих рассчитывается на GPU, а каждый GPU-узел добавляет не менее 9,2 ТБ сырой ёмкости локальных NVMe-накопителей для шардов датасетов и промежуточного хранения контрольных точек.
Вариант A: управляемая система хранения данных (СХД)
СХД VAST Data, WEKA или DDN на ваш выбор: не менее 1 ТБ полезной ёмкости на GPU (512 ТБ на кластере из 64 узлов), обязательства по пропускной способности и задержке для каждого уровня, прозрачные данные об использовании и квоты, проверенное восстановление и эскалация к производителю 24/7.
Вариант B: узлы хранения для вашего собственного ПО
Узлы хранения с сырой ёмкостью не менее 3 ТБ на GPU на NVMe-накопителях PCIe 5.0 по 30,72 ТБ, минимум 9 узлов, с поддержкой самошифрующихся накопителей. Оба варианта описаны на странице «Хранилище и сеть».
Как мы устраняем сбои во время запуска
Если оборудование выходит из строя посреди запуска, мы выводим узел из эксплуатации и ремонтируем или заменяем его, чтобы ваша задача могла перезапуститься на исправных узлах.
- Фатальные сбои GPU (XID 79, XID 48, двухбитовые ошибки ECC и сбои переназначения строк памяти) немедленно выводят узел в карантин.
- Повторяющиеся ошибки XID 13 и XID 31 обрабатываются после согласованного с вами числа повторений.
- Зависания NCCL сопоставляются с событиями фабрики, поэтому зависшую задачу можно связать с каналом, вызвавшим зависание.
- Узлы с подозрением на скрытое повреждение данных остаются в карантине.
- NVMe-накопители заменяются до того, как исчерпают ресурс записи.
Операционная телеметрия хранится не менее 30 дней, а история инцидентов и состояний хранится не менее 12 месяцев. Полный список приведён в наших обязательствах по эксплуатации, а типичные причины сбоев разобраны в нашей статье о том, почему длительные запуски обучения срываются в общем облаке.
Нагрузочный прогон вместо пробного периода
Каждый кластер до передачи проходит тесты валидации оборудования NVIDIA с HW-1 по HW-5, а результаты входят в ваш отчёт о приёмке.
- HW-1
Пропускная способность коллективных операций
Базовая пропускная способность NCCL, измеренная с помощью nccl-tests, с коллективными операциями с ускорением SHARP там, где фабрика их поддерживает.
nccl-tests - HW-2
Каждый сетевой rail
Каждый rail InfiniBand или RoCE проверяется с помощью ib_write_bw.
ib_write_bw - HW-3
GPUDirect и хранилище
Smoke-тесты GPUDirect RDMA и хранилища, включая чтение и запись на NVMe.
GPUDirect RDMA, NVMe - HW-4
NVLink и NVSwitch
Количество соединений NVLink и NVSwitch и их пропускная способность проверяются с помощью nvbandwidth.
nvbandwidth - HW-5
24-часовой тест под нагрузкой
В течение 24 часов кластер работает под репрезентативной нагрузкой инференса при постоянном лимите мощности.
нагрузка инференса при лимите мощности
Мы не предлагаем пробных периодов, пилотных проектов или краткосрочной аренды. Отчёт о приёмке показывает пропускную способность NCCL, каждый rail InfiniBand или RoCE, каналы NVLink и NVSwitch и 24-часовой тест под нагрузкой, измеренные на тех узлах, на которых вы будете обучать модели. Узнайте, как проходят нагрузочный прогон и приёмка.
Аренда GPU для обучения моделей на срок от 36 до 60 месяцев
Кластеры для обучения сдаются в аренду серверами целиком на 36, 48 или 60 месяцев по единой фиксированной ежемесячной ставке, и чем длиннее срок, тем ниже ставка.
Запросить предложение
Укажите размер модели, количество серверов, срок, площадку и когда они вам нужны.
Коммерческое предложение
Мы присылаем письменное коммерческое предложение, составленное по нашей спецификации поставки, где каждое нужное вам изменение указано как пронумерованное отклонение.
Подключение и договор
Компания, которая будет использовать серверы, заполняет три наши формы для подключения, подписывает договор аренды и вносит авансовый платёж.
Сборка, нагрузочный прогон и передача
Мы собираем кластер и проводим нагрузочный прогон в Торонто или в Делавэре по мере ввода этой площадки в эксплуатацию, а затем передаём его вместе с отчётом о приёмке, общим каналом в Slack и закреплённым техническим аккаунт-менеджером.
Остаток суммы выставляется к оплате ежемесячно в течение срока без платы за исходящий трафик, а для больших объёмов мощностей может потребоваться банковская гарантия или аккредитив. Если вы хотите, чтобы платформенный уровень вели мы, мы устанавливаем и сопровождаем управляемый Kubernetes с NVIDIA GPU Operator и Network Operator или управляемый Slurm. В нашей статье о непрерывном обучении на выделенных B300 показано, как лаборатории планируют кампанию обучения в рамках фиксированного срока.
Вопросы заказчиков
Какой минимальный кластер для обучения вы сдаёте в аренду?
Мы сдаём в аренду серверы целиком, поэтому минимальной единицей является один сервер HGX B300 на 8 GPU на срок 36 месяцев. Наши референсные кластеры насчитывают 64, 128 и 288 узлов на одной выделенной фабрике, а более крупные кластеры строятся по той же архитектуре.
Можно ли протестировать кластер до подписания договора?
Мы не предлагаем пробных периодов или пилотных проектов. Каждый кластер до передачи проходит тесты валидации оборудования NVIDIA с HW-1 по HW-5, и вы получаете результаты в отчёте о приёмке. Подробнее на странице «Нагрузочный прогон и приёмка».
Вы строите фабрики для обучения на InfiniBand или на Ethernet?
Наша спецификация поставки отдаёт предпочтение NVIDIA Spectrum-X или Broadcom Tomahawk 6 и допускает NVIDIA Quantum InfiniBand или Tomahawk 5. В любом случае фабрика является rail-оптимизированной и полностью неблокирующей, обеспечивает 800 Гбит/с на GPU и выделена только вам.
Какое хранилище выбрать для контрольных точек?
Вариант A представляет собой СХД VAST Data, WEKA или DDN с полезной ёмкостью не менее 1 ТБ на GPU и эскалацией к производителю 24/7. Вариант B представляет собой узлы хранения с сырой ёмкостью не менее 3 ТБ на GPU для ПО хранения данных, которое вы запускаете сами.
Что происходит, если GPU выходит из строя во время запуска?
Фатальные сбои, например XID 79 или двухбитовые ошибки ECC, немедленно выводят узел в карантин, и мы ремонтируем или заменяем его, прежде чем он вернётся в ваш кластер. Руководитель реагирования назначается в течение 15 минут.
Сдаёте ли вы кластеры для обучения на один или два года?
Нет. GPU-серверы сдаются в аренду на 36, 48 или 60 месяцев, и чем длиннее срок, тем ниже ставка.
Спланируйте свой следующий кластер для обучения
Укажите модель, размер кластера, срок и площадку, и мы ответим письменным коммерческим предложением, составленным по нашей спецификации поставки.