Управляемый Kubernetes
Мы устанавливаем Kubernetes на ваши выделенные GPU-серверы с NVIDIA GPU Operator и Network Operator, а затем сопровождаем, обновляем и мониторим его и обеспечиваем дежурство.
Управляемый Kubernetes от 1Legion работает на GPU-серверах, выделенных вам, а не на общих узлах. Мы устанавливаем кластер с NVIDIA GPU Operator и Network Operator, а затем сопровождаем, обновляем и мониторим его и обеспечиваем дежурство. Ваша команда развёртывает приложения через Kubernetes, а мы поддерживаем в рабочем состоянии платформу, GPU и фабрику под ним.
Kubernetes на GPU-серверах bare metal
Два оператора NVIDIA устанавливают ПО для GPU и сети на каждый узел, поэтому оборудование отображается в Kubernetes как ресурсы, которые могут запрашивать ваши поды.
NVIDIA GPU Operator
Управляет драйвером NVIDIA, NVIDIA Container Toolkit, плагином устройств Kubernetes, метками GPU Feature Discovery и мониторингом на основе DCGM на каждом GPU-узле. Поды запрашивают GPU как nvidia.com/gpu.
NVIDIA Network Operator
Устанавливает сетевое ПО хоста: сетевой драйвер NVIDIA, плагины устройств, плагины CNI и управление IP-адресами, чтобы поды могли использовать фабрику RDMA и GPUDirect RDMA.
Серверы работают на bare metal, поэтому между вашими подами и GPU нет гипервизора, а на узлах нет нагрузок других клиентов. В кластере HGX B300 каждый GPU-узел предоставляет 8 GPU по 270 ГБ HBM3e, 800 Гбит/с фабрики на GPU и не менее 9,2 ТБ локальных NVMe-накопителей, и всё это доступно только вашим нагрузкам. CPU-узлы обслуживают сервисы вокруг GPU, такие как сервинг моделей, маршрутизация и пакетная обработка, и предоставляют не менее 6 аппаратных потоков и 24 ГБ памяти на GPU.
GPU Feature Discovery присваивает каждому узлу метки с моделью GPU, объёмом памяти и версией драйвера, поэтому развёртывание может выбрать нужные ему узлы с помощью обычного селектора узлов.
Что значит «управляемый»
Пока мы управляем кластером, за нами остаются четыре задачи: мы сопровождаем его, обновляем, мониторим и отвечаем за него в любое время суток.
Сопровождение
Мы эксплуатируем control plane, оба оператора и каждый узел. Узлы с фатальными сбоями GPU (XID 79, XID 48, двухбитовые ошибки ECC, сбой переназначения строк) немедленно выводятся в карантин.
Обновление
Мы обновляем Kubernetes, операторы и драйвер GPU по документированной процедуре управления изменениями и уведомляем о работах с высоким риском не менее чем за 7 календарных дней.
Мониторинг
Метрики DCGM с каждого GPU, а также внеполосная телеметрия оборудования через BMC и Redfish. Операционная телеметрия хранится не менее 30 дней, история инцидентов и состояний хранится не менее 12 месяцев.
Дежурство
Два независимых проверенных способа связаться с квалифицированным дежурным специалистом 24 часа в сутки, каждый день. В течение 15 минут инцидент подтверждается и для него назначается руководитель реагирования.
Служба эксплуатации сети подключается в течение 15 минут в любое время суток, а инженеры площадки или remote hands подключаются в течение 45 минут. Повторяющиеся ошибки XID 13 и XID 31 обрабатываются после согласованного с вами количества повторений. Для длительных запусков обучения важны ещё два обязательства: мы сопоставляем зависания NCCL с событиями в фабрике и заменяем NVMe-накопители до того, как они достигнут предела своего ресурса.
Разделение ответственности
Мы сопровождаем платформу от оборудования до Kubernetes включительно, а вы сопровождаете то, что развёртываете на ней.
| Область | Что делает 1Legion | Что делаете вы |
|---|---|---|
| Серверы, электропитание и охлаждение | Находит и устраняет неисправности оборудования, площадки и охлаждения | Сообщаете обо всём необычном в общем канале в Slack |
| Сбои GPU | Немедленно выводит в карантин узлы с фатальными сбоями GPU и держит в карантине узлы с подозрением на скрытое повреждение данных | Сохраняете контрольные точки задач, чтобы они возобновлялись на исправных узлах |
| Kubernetes и ПО узлов | Устанавливает, обновляет и мониторит Kubernetes, GPU Operator, Network Operator и драйвер GPU | Сообщаете, от каких версий зависит ваше ПО |
| Фабрика и внешняя сеть | Эксплуатирует фабрику east-west, сеть north-south и внешнюю сеть и применяет изменения пограничных ACL в течение одного рабочего дня | Определяете правила пограничных ACL и то, что ваши сервисы открывают наружу |
| Инциденты | Подтверждает инцидент в течение 15 минут, назначает руководителя реагирования, сообщает обновления не менее одного раза в 60 минут и пишет разбор инцидента в течение 7 дней после любого инцидента, затронувшего клиента | Сообщаете о проблемах в общем канале или через каналы связи с дежурной сменой |
| Рабочие нагрузки | Поддерживает в рабочем состоянии узлы и GPU, на которых они выполняются | Контейнеры, модели, наборы данных и контрольные точки, а также развёртывания и задачи, которые их используют |
| Мониторинг | Следит за состоянием кластера, узлов и GPU | Следите за собственными приложениями и моделями |
Обновления и плановые работы
Каждое изменение в кластере проходит по документированной процедуре управления изменениями, а о неэкстренных работах с высоким риском мы уведомляем не менее чем за 7 календарных дней.
Это правило распространяется на обновления Kubernetes, обоих операторов и драйвера GPU, если они связаны с высоким риском, так же как и на работы с оборудованием. Экстренные работы, например восстановление сервиса во время инцидента, проводятся вместо этого по процессу реагирования на инциденты. Статья «Почему длительные запуски обучения срываются в общем облаке» показывает, к чему может привести необъявленное обновление драйвера во время запуска. Эталонный реестр оборудования фиксирует каждый узел, GPU, сетевой адаптер и накопитель, выявляет отклонения от согласованной базовой конфигурации и делает изменения состояния видимыми для вас в течение 5 минут в машиночитаемой выгрузке. Наш внеполосный доступ к вашим серверам подлежит аудиту.
Управляемый Slurm
Управляемый Slurm представляет собой альтернативу для команд, которые предпочитают планировать работу в виде пакетных задач.
Исследовательские команды, которые запускают обучение через sbatch и srun и ставят задачи в очередь по разделам и приоритетам, часто предпочитают Slurm, а не Kubernetes. Мы сопровождаем тот планировщик, который предпочитает ваша команда, и указываем его в коммерческом предложении. Серверы, фабрика и нагрузочный прогон (тесты с HW-1 по HW-5) в обоих случаях одинаковы, как и общий канал с нашим руководителем реагирования. Оборудование, на котором работают оба варианта, описано на странице «GPU-кластеры».
Как формируется цена управляемого Kubernetes
Управляемый Kubernetes представляет собой услугу управления, которая оплачивается сверх аренды серверов и указывается отдельной строкой в вашем коммерческом предложении.
Нет ни опубликованного тарифа, ни самостоятельной регистрации. Мы разрабатываем собственное ПО платформы для реестра оборудования, мониторинга и автоматизации нагрузочного прогона. Сейчас вы работаете с нами через общий канал в Slack, закреплённого технического аккаунт-менеджера, отчёт о приёмке при передаче и отчёты, которые мы присылаем. Условия, выставление счетов и подключение описаны на странице «Как заказать».
Вопросы заказчиков
Какое ПО NVIDIA вы устанавливаете?
NVIDIA GPU Operator и NVIDIA Network Operator. Вместе они управляют драйвером GPU, container toolkit, плагином устройств, GPU Feature Discovery, мониторингом DCGM и сетевым ПО RDMA на каждом узле.
Предлагаете ли вы управляемый Slurm?
Да. Управляемый Slurm представляет собой альтернативу для команд, которые предпочитают пакетное планирование, а в вашем коммерческом предложении указывается планировщик, который мы сопровождаем для вас.
Что происходит при отказе GPU?
Узел с фатальным сбоем GPU, например XID 79, XID 48, двухбитовой ошибкой ECC или сбоем переназначения строк, немедленно выводится в карантин, а мы находим и устраняем неисправность.
За какой срок вы уведомляете о плановых работах?
Не менее чем за 7 календарных дней до неэкстренных работ с высоким риском, и каждое изменение проходит по документированной процедуре управления изменениями.
Есть ли у кластера веб-консоль?
Пока нет. Мы разрабатываем собственное ПО платформы; сейчас вы работаете с нами через общий канал в Slack, закреплённого технического аккаунт-менеджера и письменные отчёты.
Как формируется цена управляемого Kubernetes?
Как услуга управления сверх аренды серверов, указанная в вашем письменном коммерческом предложении. Мы не публикуем цены.
Расскажите, что вам нужно запускать.
Укажите оборудование, количество серверов, срок и дату начала. Вы получите письменное коммерческое предложение на основе нашей спецификации поставки.