Глоссарий GPU-инфраструктуры

Отчёт о приёмкеAcceptance report

Документ, в котором зафиксированы тесты, пройденные сервером или кластером до передачи клиенту, и их результаты. Каждый кластер 1Legion передаётся с таким отчётом по тестам валидации оборудования NVIDIA с HW-1 по HW-5; см. «Нагрузочный прогон и приёмка».

ASN

Номер автономной системы (autonomous system number): идентификатор, который назначается через региональный интернет-регистратор и под которым сеть обменивается маршрутами с другими сетями по BGP. В кластерах HGX B300, построенных по нашей спецификации поставки, внешняя сеть кластера может анонсировать ваши собственные IP-префиксы под вашим собственным ASN; см. «Хранилище и сеть».

Bare metal

Физический сервер, выделенный одному клиенту, без гипервизора между рабочей нагрузкой и оборудованием, поэтому клиенту доступны все его CPU, память, GPU и сетевые интерфейсы. Все GPU-серверы 1Legion сдаются в аренду именно так, целиком.

BGP

Border Gateway Protocol, протокол маршрутизации, с помощью которого сети обмениваются в интернете информацией о достижимости. Внешняя сеть наших кластеров HGX B300 устанавливает сессии внешнего BGP (eBGP) с каждым транзитным провайдером и использует протокол BFD (bidirectional forwarding detection), чтобы при отказе канала переключиться на резервный в течение минуты; см. «Хранилище и сеть».

Blackwell Ultra

Архитектура GPU NVIDIA, на которой построены HGX B300 и GB300 NVL72. По сравнению с Blackwell (B200) у неё больше памяти HBM3e на GPU и выше производительность FP4 без разреженности, но намного ниже производительность FP64, поэтому она рассчитана на обучение и инференс ИИ, а не на HPC-вычисления двойной точности.

BlueField-3

Процессор обработки данных (DPU) NVIDIA: сетевой адаптер с собственными ядрами Arm, который может взять на себя сетевые задачи, задачи хранения и безопасности, разгрузив CPU хоста. В нашей спецификации поставки HGX B300 BlueField-3 служит сетевым интерфейсом фронтенд-сети на GPU-узлах и CPU-узлах; на GPU-узлах предпочтительно 2 × 400 Гбит/с, минимум 2 × 200 Гбит/с.

Нагрузочный прогонBurn-in

Работа нового оборудования под длительной нагрузкой до ввода в эксплуатацию, чтобы ранние отказы проявились до того, как на нём появится ваша рабочая нагрузка. 1Legion проводит нагрузочный прогон каждого кластера с помощью тестов валидации оборудования NVIDIA с HW-1 по HW-5, включая 24-часовой тест под репрезентативной нагрузкой инференса; см. «Нагрузочный прогон и приёмка».

КолокейшнColocation

Аренда площадей, энергомощностей, охлаждения и подключения к сети в дата-центре для серверов, которые принадлежат вам; цена часто указывается за кВт мощности. 1Legion перепродаёт услуги колокейшн на своих партнёрских площадках по многолетним договорам; см. «Колокейшн и эксплуатация».

ConnectX-8

Адаптер NVIDIA SuperNIC с пропускной способностью до 800 Гбит/с, который работает по InfiniBand или Ethernet. В нашей спецификации поставки он указан как предпочтительный для бэкенд-сети (east-west) узлов HGX B300, со скоростью 800 Гбит/с на GPU.

Control plane

Серверы, на которых работают службы управления кластером, например API-сервер Kubernetes и etcd или контроллер Slurm; они отделены от узлов, на которых выполняются рабочие нагрузки. В наших кластерах HGX B300 на каждые 2304 GPU приходится шесть узлов control plane, размещённых в двух стойках; см. спецификацию поставки.

CPU-узелCPU node

Сервер без GPU, на котором работают сервисы вокруг GPU-узлов, например фронтенды для обслуживания моделей, маршрутизация запросов и пакетные задания. В наших кластерах HGX B300 на CPU-узлах предусмотрено не менее 6 аппаратных потоков и 24 ГБ памяти на каждый GPU кластера; см. «GPU-кластеры».

Уровень надёжности дата-центраData center tier

Оценка того, насколько резервированы системы электропитания и охлаждения дата-центра. Наиболее известна шкала Uptime Institute с уровнями от Tier I до Tier IV, которые сертифицируются отдельно для проектной документации, построенного объекта и эксплуатационной устойчивости, а у стандартов TIA-942 и EN 50600 есть собственные четырёхуровневые шкалы; см. «Безопасность и комплаенс».

Очистка трафика от DDoSDDoS scrubbing

Пропуск трафика через фильтрующие мощности провайдера во время распределённой атаки типа «отказ в обслуживании», чтобы атакующий трафик был отсеян и до сети доходил только чистый трафик. В нашей спецификации HGX B300 очистка от объёмных атак на уровнях 3 и 4 включается через BGP в течение 5 минут и рассчитана не менее чем на 1 Тбит/с; см. «Хранилище и сеть».

Авансовый платёжDown payment

Сумма, которую клиент платит при подписании договора. 1Legion получает авансовый платёж при подписании договора, затем ежемесячно выставляет счета на остаток по единой фиксированной ставке в течение всего срока, а для больших объёмов мощностей может потребоваться обеспечение платежей, например банковская гарантия или аккредитив; см. «Как заказать».

Фабрика east-westEast-west fabric

Сеть между GPU-узлами кластера, по которой идут коллективные операции распределённого обучения и инференса. В наших кластерах HGX B300 это rail-оптимизированная, полностью неблокирующая сеть со скоростью 800 Гбит/с на GPU, выделенная одному клиенту; см. «GPU-кластеры».

Ошибка ECCECC error

Ошибка памяти, обнаруженная кодом коррекции ошибок. Однобитовая ошибка исправляется на месте, а двухбитовую исправить нельзя, поэтому 1Legion считает такую ошибку на GPU фатальной неисправностью и сразу выводит оборудование в карантин; см. «Обязательства по эксплуатации».

Исходящий трафикEgress

Данные, которые покидают сеть провайдера, например результаты, контрольные точки или медиафайлы, которые вы выгружаете. Многие облака берут за них плату за каждый гигабайт; в договорах 1Legion нет платы за исходящий трафик, как описано на странице «Как заказать».

FP4

4-битный формат с плавающей запятой, в котором веса модели, а в некоторых случаях и активации, занимают вдвое меньше памяти, чем в FP8, ценой некоторой потери точности представления. Тензорные ядра NVIDIA Blackwell поддерживают его аппаратно, включая вариант NVIDIA NVFP4 с мелкозернистым масштабированием, которое помогает сохранить точность модели; см. «GPU-серверы для инференса ИИ».

FP8

8-битный формат с плавающей запятой в вариантах E4M3 и E5M2, который вдвое сокращает объём памяти на одно значение по сравнению с FP16 или BF16. Тензорные ядра GPU NVIDIA архитектур Ada Lovelace, Hopper и Blackwell поддерживают его при обучении и инференсе; см. «GPU-серверы для инференса ИИ».

GB300 NVL72

Система NVIDIA масштаба стойки, которая объединяет 72 GPU Blackwell Ultra и 36 CPU Grace в одном домене NVLink и полностью охлаждается жидкостью. 1Legion сдаёт её в аренду целой стойкой на 72 GPU, по предварительному бронированию; см. NVIDIA GB300 NVL72.

GDDR7

Поколение графической памяти на картах NVIDIA RTX архитектуры Blackwell; микросхемы памяти размещаются на печатной плате вокруг GPU, а не собираются в стеки рядом с ним, как HBM. Объём GDDR7 составляет 96 ГБ у RTX PRO 6000 Blackwell и 32 ГБ у GeForce RTX 5090.

GPU Operator

Оператор Kubernetes от NVIDIA, который устанавливает и обслуживает на каждом GPU-узле драйвер GPU, набор инструментов для контейнеров, плагин устройств и компоненты мониторинга. Наша услуга управляемого Kubernetes устанавливает его вместе с NVIDIA Network Operator.

GPUDirect RDMA

Технология NVIDIA, которая позволяет сетевому адаптеру напрямую читать и записывать память GPU, не копируя данные через память хоста. Она снижает задержку и нагрузку на CPU при обмене трафиком между GPU на разных узлах и с хранилищем, а тест HW-3 проверяет её до передачи клиенту; см. «Нагрузочный прогон и приёмка».

HBM3e

Расширенная версия стандарта памяти с высокой пропускной способностью HBM3: стеки кристаллов DRAM в одном корпусе с GPU, которые дают пропускную способность в несколько терабайт в секунду на GPU. По данным NVIDIA, HGX B300 оснащается памятью HBM3e объёмом 270 ГБ на GPU, всего 2,1 ТБ в сервере на 8 GPU; см. NVIDIA HGX B300.

HGX

Серверная платформа NVIDIA: GPU формата SXM на одной базовой плате, соединённые по NVLink через микросхемы NVSwitch; производители серверов встраивают её в готовые системы. На современных платах установлено восемь GPU. 1Legion сдаёт системы HGX B300 и HGX B200 в аренду целиком, как серверы на 8 GPU.

Руководитель реагированияIncident commander

Человек, который руководит реагированием на инцидент: координирует участников, принимает решения о действиях и отвечает за коммуникацию до восстановления работы сервиса. 1Legion подтверждает инцидент и назначает руководителя реагирования в течение 15 минут, а затем отправляет обновления не менее одного раза в 60 минут; см. «Обязательства по эксплуатации».

InfiniBand

Сетевая технология без потерь и с низкой задержкой со встроенным удалённым прямым доступом к памяти (RDMA) и вычислениями внутри сети; широко применяется в фабриках GPU-кластеров. Её реализуют коммутаторы NVIDIA Quantum, и наши кластеры HGX B300 допускают Quantum InfiniBand для фабрики east-west, хотя предпочтителен Ethernet на Spectrum-X или Broadcom Tomahawk 6.

ISO 27001

ISO/IEC 27001, международный стандарт системы менеджмента информационной безопасности, по которому аккредитованный орган сертифицирует организацию после внешнего аудита. Мы работаем над соответствием требованиям SOC 2 и ISO 27001. Наша текущая документация по безопасности предоставляется по NDA.

KV-кэшKV cache

Ключи и значения, которые модель-трансформер хранит для каждого токена своего контекста, чтобы не вычислять их заново для каждого нового генерируемого токена. Объём кэша растёт с длиной контекста и числом одновременных запросов, поэтому при расчёте конфигурации для инференса нужно оставлять память GPU не только под веса, но и под кэш; см. «GPU-серверы для инференса ИИ».

KYC

Know your customer («знай своего клиента»): проверки, которые проводит провайдер, чтобы установить, кто является клиентом, кто им владеет и его контролирует и кто подписывает документы от его имени. Перед подписанием договора с 1Legion компания, которая будет использовать серверы, заполняет форму «Подключение клиента и проверка благонадёжности», включая сведения о своих бенефициарных владельцах; см. «Как заказать».

Жидкостное охлаждениеLiquid cooling

Отвод тепла жидкостью вместо воздуха. При прямом жидкостном охлаждении чипов (direct-to-chip) теплоноситель прокачивается через охлаждающие пластины на GPU и CPU; такое охлаждение обязательно для систем масштаба стойки, таких как GB300 NVL72, а серверы HGX B300 компании 1Legion сейчас работают на воздушном охлаждении; см. наши дата-центры.

Управляемый KubernetesManaged Kubernetes

Услуга, при которой провайдер устанавливает, сопровождает, обновляет и мониторит кластер Kubernetes и обеспечивает его дежурную поддержку, а вы запускаете на нём свои рабочие нагрузки. 1Legion устанавливает его на ваших выделенных серверах и предлагает в качестве альтернативы управляемый Slurm; см. «Управляемый Kubernetes».

MTU

Maximum transmission unit (максимальный размер передаваемого блока): наибольший пакет, который сетевой канал передаёт без фрагментации. Стандартный Ethernet использует 1500 байт, в сетях дата-центров часто применяют jumbo-кадры размером 9000 байт, чтобы снизить накладные расходы на каждый пакет, а наша спецификация HGX B300 задаёт MTU 9000 в сети north-south; см. «Хранилище и сеть».

NCCL

NVIDIA Collective Communications Library, библиотека, которая выполняет all-reduce, all-gather и другие коллективные операции между GPU по NVLink, InfiniBand и Ethernet. Её используют для распределённого обучения фреймворки, например PyTorch, а тест HW-1 до передачи клиенту измеряет пропускную способность NCCL с помощью nccl-tests; см. «Нагрузочный прогон и приёмка».

НеооблакоNeocloud

Облачный провайдер, который специализируется на GPU-вычислениях для ИИ, обычно с выделенными мощностями или мощностями bare metal, в отличие от универсальных гипермасштабных облаков. Компаниям, которые хотят стать неооблаком, 1Legion предоставляет колокейшн, эксплуатацию 24/7 и клиентов; см. «Колокейшн и эксплуатация».

Сеть north-southNorth-south network

Сеть, которая соединяет кластер с хранилищем, с внешними сервисами и с интернетом, в отличие от фабрики east-west между GPU-узлами. В нашей спецификации HGX B300 предпочтительная скорость составляет 400 Гбит/с на узел, без переподписки на leaf-коммутаторах хранилища и с переподпиской менее 4:1 на leaf-коммутаторах GPU; см. «Хранилище и сеть».

NVLink

Прямой интерконнект NVIDIA между GPU. NVLink пятого поколения даёт каждому GPU Blackwell пропускную способность 1,8 ТБ/с к остальным GPU в его домене NVLink, тогда как у подключения PCIe Gen6 x16 она составляет 256 ГБ/с; см. NVIDIA HGX B300.

NVSwitch

Микросхема коммутатора NVIDIA, которая соединяет порты NVLink множества GPU, так что любой GPU может обращаться к любому другому на полной пропускной способности NVLink. На платах HGX установлены микросхемы NVSwitch для их восьми GPU, GB300 NVL72 объединяет 72 GPU через коммутационные лотки NVLink, а тест HW-4 проверяет число каналов и пропускную способность с помощью nvbandwidth; см. «Нагрузочный прогон и приёмка».

Внеполосное управлениеOut-of-band management

Отдельная сеть и контроллер (контроллер управления системной платой, BMC) для управления оборудованием сервера независимо от его операционной системы через такие интерфейсы, как IPMI и Redfish. Оно охватывает управление питанием, консоли, прошивки и телеметрию оборудования, а наши обязательства по эксплуатации требуют аудита внеполосного доступа; см. «Обязательства по эксплуатации».

ПереподпискаOversubscription

Отношение пропускной способности, которую серверы могут направить в коммутатор, к пропускной способности коммутатора в сторону остальной сети; при соотношении 1:1 сеть является неблокирующей. Наша спецификация HGX B300 не допускает переподписки на leaf-коммутаторах хранилища и допускает переподписку менее 4:1 на leaf-коммутаторах GPU; см. «Хранилище и сеть».

PCIe-серверPCIe server

Сервер, в котором GPU установлены как платы расширения в слоты PCI Express, а не как модули SXM на базовой плате HGX, поэтому GPU обмениваются данными через PCIe и сеть, а не в полном домене NVLink. 1Legion сдаёт в аренду PCIe-серверы, например серверы RTX PRO 6000 Blackwell и L40S целиком на 8 GPU и серверы RTX 4000 Ada и RTX A4000 на 4 GPU; см. «GPU-серверы».

Разбор инцидентаPostmortem

Письменный анализ после инцидента, в котором изложены хронология, первопричина, последствия и меры, которые предотвратят повторение. 1Legion предоставляет такой разбор в течение 7 календарных дней после каждого инцидента, затронувшего клиента; см. «Обязательства по эксплуатации».

КарантинQuarantine

Вывод подозрительного узла из эксплуатации, чтобы на нём не выполнялись рабочие нагрузки, пока его не отремонтируют или не заменят и повторно не протестируют. 1Legion сразу выводит оборудование в карантин после фатальных неисправностей GPU (XID 79, XID 48, двухбитовые ошибки ECC и сбои переназначения строк памяти) и держит в карантине узлы, в которых подозревается скрытое повреждение данных; см. «Обязательства по эксплуатации».

Плотность мощности стойкиRack density

Мощность в кВт, которую дата-центр может подать на одну стойку и отвести в виде тепла. Для размещения GPU это ключевой показатель: мы закладываем около 14 кВт на узел HGX B300, и 1Legion запрашивает у каждой площадки договорной максимум кВт на стойку; см. «Колокейшн и эксплуатация».

Rail-оптимизированная фабрикаRail-optimized fabric

Сеть кластера, в которой сетевой интерфейс GPU с номером n в каждом сервере подключён к одному и тому же leaf-коммутатору, который называется rail, поэтому трафик между GPU с одинаковыми номерами в разных серверах проходит через один коммутатор. В наших GPU-кластерах используется rail-оптимизированная, полностью неблокирующая фабрика east-west.

Remote hands

Технические специалисты дата-центра, которые выполняют физические работы с серверами по поручению владельца, например заменяют накопители, переподключают кабели или меняют комплектующие. 1Legion обязуется подключить к устранению неисправности инженеров площадки или remote hands в течение 45 минут; см. «Обязательства по эксплуатации».

RoCEv2

RDMA over Converged Ethernet, версия 2: удалённый прямой доступ к памяти, который передаётся в пакетах UDP/IP и поэтому может маршрутизироваться в сети Ethernet. Для него нужна сеть без потерь или с управлением перегрузками, и наша спецификация HGX B300 требует поддержки RoCEv2 в сети north-south; см. «Хранилище и сеть».

RPKI

Resource Public Key Infrastructure: подписанные записи, которые называются ROA (route origin authorization) и указывают, с какого ASN разрешено анонсировать IP-префикс, чтобы маршрутизаторы могли отклонять перехваченные или ошибочные маршруты. Наша внешняя сеть соблюдает записи RPKI ROA, когда анонсирует префиксы, принадлежащие клиентам; см. «Хранилище и сеть».

SHARP

Scalable Hierarchical Aggregation and Reduction Protocol от NVIDIA: протокол, который выполняет операции редукции, например all-reduce, внутри сетевых коммутаторов, а не на GPU. Он работает в коммутаторах NVIDIA Quantum InfiniBand и, в виде NVLink SHARP, в NVSwitch, а тест HW-1 использует его там, где фабрика это поддерживает; см. «Нагрузочный прогон и приёмка».

Скрытое повреждение данныхSilent data corruption

Аппаратная неисправность, которая приводит к неверным результатам без сообщения об ошибке, например из-за дефектного GPU или ячейки памяти. Поскольку ничего не падает, её выявляют проверкой результатов, а 1Legion держит в карантине любой узел, в котором подозревается такая неисправность; см. «Обязательства по эксплуатации».

Slurm

Менеджер рабочих нагрузок с открытым исходным кодом, который ставит в очередь и распределяет по кластеру пакетные задания; широко применяется в высокопроизводительных вычислениях и для крупных запусков обучения. 1Legion предлагает управляемый Slurm как альтернативу управляемому Kubernetes.

SOC 2

Аттестационный отчёт, в котором независимый аудитор оценивает механизмы контроля сервисной организации по критериям AICPA Trust Services Criteria; отчёт типа 2 также проверяет, как эти механизмы работали в течение определённого периода. Мы работаем над соответствием требованиям SOC 2 и ISO 27001. Наша текущая документация по безопасности предоставляется по NDA.

Spectrum-X

Сетевая платформа Ethernet от NVIDIA для ИИ, которая сочетает коммутаторы NVIDIA Spectrum с адаптерами NVIDIA SuperNIC и добавляет адаптивную маршрутизацию и управление перегрузками для трафика RoCE. В нашей спецификации HGX B300 для фабрики east-west предпочтительны Spectrum-X или Broadcom Tomahawk 6; см. «GPU-кластеры».

«Бери или плати»Take-or-pay

Договор, по которому заказчик обязуется оплачивать установленный объём мощностей в течение всего срока независимо от того, использует ли он их полностью, а взамен получает мощности, зарезервированные только для него. Договоры 1Legion на аренду GPU-серверов связывают обязательствами обе стороны на 36, 48 или 60 месяцев по единой фиксированной ставке с ежемесячным выставлением счетов после авансового платежа; см. «Как заказать».

Тензорное ядроTensor core

Блок внутри GPU NVIDIA, который выполняет операции матричного умножения с накоплением, основу математики нейросетей, с гораздо более высокой производительностью, чем универсальные ядра CUDA. Каждое поколение добавляет форматы пониженной точности: в Hopper и Ada Lovelace появился FP8, а в Blackwell появились FP6 и FP4; см. «GPU-серверы».

Tier III

Уровень Uptime Institute для параллельно обслуживаемого (concurrently maintainable) дата-центра, в котором любой компонент на линиях питания и охлаждения можно вывести на плановые работы без отключения ИТ-оборудования. 1Legion запрашивает у площадок проектную документацию Tier III и точное указание любой сертификации Uptime Institute, по NDA; см. «Безопасность и комплаенс».

Транзитный провайдерTransit provider

Оператор связи, который подключает сеть клиента к остальному интернету и передаёт её трафик в другие сети и из них по BGP. Наша спецификация HGX B300 предусматривает двух независимых транзитных провайдеров по 100 Гбит/с на канал по физически разнесённым трассам; см. «Хранилище и сеть».

Vera Rubin

Платформа NVIDIA, которая приходит на смену Blackwell и объединяет GPU Rubin (288 ГБ HBM4) с CPU Vera; она выпускается в виде стойки Vera Rubin NVL72 и серверов HGX Rubin NVL8 на 8 GPU. Компания 1Legion заказала серверы Rubin и принимает предварительные бронирования; см. NVIDIA Vera Rubin.

Ошибка XIDXID error

Код ошибки, который драйвер NVIDIA записывает в системный журнал при неисправности GPU; коды пронумерованы по типам. XID 79 (GPU отключился от шины) и XID 48 (двухбитовая ошибка ECC) являются фатальными, а XID 13 и XID 31 часто вызваны самим приложением, поэтому 1Legion принимает по ним меры, когда они повторяются сверх согласованного количества; см. «Обязательства по эксплуатации».