Нагрузочный прогон и приёмка

Нагрузочный прогон состоит из пяти тестов, каждый из которых проверяет отдельную часть кластера, и мы передаём кластер только после того, как он пройдёт все пять.

1. HW-1

   Пропускная способность коллективных операций

   Базовая пропускная способность NCCL, измеренная с помощью nccl-tests, с коллективными операциями с ускорением SHARP там, где фабрика их поддерживает.

   nccl-tests

2. HW-2

   Каждый сетевой rail

   Каждый rail InfiniBand или RoCE проверяется с помощью ib_write_bw.

   ib_write_bw

3. HW-3

   GPUDirect и хранилище

   Smoke-тесты GPUDirect RDMA и хранилища, включая чтение и запись на NVMe.

   GPUDirect RDMA, NVMe

4. HW-4

   NVLink и NVSwitch

   Количество соединений NVLink и NVSwitch и их пропускная способность проверяются с помощью nvbandwidth.

   nvbandwidth

5. HW-5

   24-часовой тест под нагрузкой

   В течение 24 часов кластер работает под репрезентативной нагрузкой инференса при постоянном лимите мощности.

   нагрузка инференса при лимите мощности

Вместе они охватывают пути, от которых зависит распределённая нагрузка: между GPU внутри сервера (HW-4), между серверами через фабрику (HW-1 и HW-2), сетевой путь в память GPU и путь к хранилищу (HW-3), а также весь кластер под длительной нагрузкой (HW-5). Тесты входят в раздел 15 нашей спецификации поставки.

Каждый тест проверяет одну часть оборудования, и успешный результат говорит вам что-то конкретное о кластере, на котором вы будете работать.

HW-1: пропускная способность NCCL

С помощью библиотеки NCCL (NVIDIA Collective Communications Library) GPU обмениваются данными при распределённом обучении и инференсе, в таких операциях, как all-reduce. В тесте HW-1 на всём кластере запускается nccl-tests, бенчмарк NVIDIA для NCCL, с SHARP там, где его поддерживают коммутаторы. SHARP выполняет часть каждой операции редукции внутри коммутаторов, поэтому через сеть проходит меньше данных.

Успешный результат показывает, что GPU в разных серверах обмениваются данными с пропускной способностью, которую требует тест. Если пропускной способности коллективных операций не хватает, каждый шаг распределённой задачи ждёт сеть.

HW-2: каждый rail фабрики

В rail-оптимизированной фабрике rail называют набор соединений, которые связывают GPU в одной и той же позиции каждого сервера с их собственными коммутаторами. В тесте HW-2 на каждом rail InfiniBand или RoCE в кластере запускается ib_write_bw, утилита, которая измеряет пропускную способность записи RDMA между двумя портами.

Успешный результат показывает, что каждый rail в отдельности выдаёт нужную производительность, а не только фабрика в среднем. Это важно, потому что коллективная операция выполняется со скоростью самого медленного соединения: один слабый кабель, трансивер или порт может замедлить все GPU в задаче.

HW-3: GPUDirect RDMA и хранилище

GPUDirect RDMA позволяет сетевой карте напрямую читать и записывать память GPU, без копирования данных через CPU и системную память. В тесте HW-3 выполняются smoke-тесты (короткие проверки того, что путь данных работает целиком, от начала до конца) для GPUDirect RDMA и для хранилища, включая чтение и запись на NVMe.

Успешный результат показывает, что данные доходят до GPU по прямому пути, на который рассчитан кластер, и что путь к хранилищу обеспечивает чтение и запись. Без GPUDirect RDMA трафик идёт по более медленному маршруту через память хоста, и задачи всё равно работают, только медленнее, поэтому этот путь проверяется отдельно.

HW-4: NVLink и NVSwitch

Внутри каждого сервера HGX восемь GPU соединены друг с другом через NVLink и NVSwitch, и этот путь намного быстрее сети между серверами. Тест HW-4 измеряет пропускную способность этих соединений утилитой NVIDIA nvbandwidth и проверяет их количество, то есть что активны все соединения, которые должны быть активны.

Успешный результат показывает, что у каждого GPU активны все соединения NVLink и что они обеспечивают пропускную способность, которую ожидает тест. Отсутствующее соединение не останавливает работу сервера, а замедляет его, поэтому их количество и проверяется.

HW-5: 24-часовой тест под нагрузкой

В тесте HW-5 кластер в течение 24 часов работает под репрезентативной нагрузкой инференса при постоянном лимите мощности, то есть при заданном ограничении мощности, которое держится весь тест. Неисправности, которые короткий тест пропускает, например ошибки из-за перегрева, проблемы с питанием и периодические сбои, обычно проявляются за часы стабильной нагрузки.

Успешный результат показывает, что оборудование стабильно работает в течение целых суток под постоянной репрезентативной нагрузкой.

Результаты нагрузочного прогона вы получаете в отчёте о приёмке, поэтому в момент, когда кластер становится вашим, у вас на руках есть доказательства.

В отчёте зафиксированы результаты тестов с HW-1 по HW-5 для вашего кластера. Сохраните его как базовый уровень. Инструменты общедоступны (nccl-tests, ib_write_bw и nvbandwidth), поэтому если позже вы заподозрите проблему, ваши инженеры смогут запустить те же тесты и сравнить результаты.

Само оборудование учтено в нашем эталонном реестре оборудования: каждая стойка, узел, GPU, сетевая карта, накопитель, коммутатор, порт, трансивер и кабель, с машиночитаемой выгрузкой для вас. После передачи кластер работает в рамках наших письменных обязательств по эксплуатации.

Узел, не прошедший тест, не вводится в эксплуатацию: его выводят в карантин, ремонтируют или заменяют и тестируют снова.

1. Карантин

   Узел выводится из кластера, чтобы он не мог повлиять на другие узлы или на результаты.

2. Ремонт или замена

   Мы находим и устраняем неисправность или заменяем вышедший из строя компонент либо весь узел.

3. Повторный тест

   Отремонтированный узел или узел, установленный на замену, тестируется снова, и кластер передаётся, как только узел пройдёт тест.

Тот же порядок действует и после передачи. Узлы с фатальными ошибками GPU (XID 79, XID 48, двухбитовые ошибки ECC и сбои переназначения строк памяти) мы сразу выводим в карантин и держим в карантине любой узел, в котором подозревается скрытое повреждение данных.

Мы не предлагаем пробных периодов, демонстраций, пилотных проектов или краткосрочной аренды; вместо этого мы предлагаем подтверждение, полученное на том самом оборудовании, на котором вы будете работать.

Пробный период показывает, как один сервер ведёт себя в течение короткого времени, и обычно это не тот сервер, который в итоге достанется вам. Наши договоры заключаются на 36, 48 или 60 месяцев на серверы целиком, поэтому вам нужно знать, как работает именно тот кластер, который вы получите. Нагрузочный прогон проверяет это на вашем собственном оборудовании, а отчёт о приёмке фиксирует результаты письменно.

До подписания спецификация поставки показывает, что именно вы приобретаете, а наши инженеры могут ответить на вопросы о ней. На странице «Как заказать» описаны этапы заключения договора от запроса до передачи.