Хранилище и сеть
Не менее 1 ТБ полезной ёмкости хранилища на GPU, выделенная сеть north-south, два транзитных провайдера, очистка трафика от DDoS и ваше собственное IP-пространство и ASN; всё это закреплено в нашей спецификации поставки.
В компании 1Legion хранилище и сеть GPU-кластеров специфицированы так же строго, как и GPU: хранилище, объём которого рассчитывается на каждый GPU, выделенная сеть north-south, резервированный выход в интернет с очисткой трафика от DDoS, а также возможность использовать собственные адреса и ASN. Все цифры на этой странице взяты из нашей спецификации поставки для кластеров HGX B300, а любые пронумерованные отклонения перечисляются в вашем коммерческом предложении. Для других серверов хранилище и сеть настраиваются под ваши требования и подтверждаются в вашем коммерческом предложении.
Два варианта хранилища
Выберите систему хранения данных (СХД) под управлением производителя или узлы хранения, на которых работает ваше собственное ПО; оба варианта рассчитываются по числу GPU в кластере.
| Вариант A: СХД | Вариант B: узлы хранения | |
|---|---|---|
| Что вы получаете | СХД VAST Data, WEKA или DDN под управлением производителя, на ваш выбор | Узлы хранения для вашего собственного ПО хранения данных |
| Ёмкость | Не менее 1 ТБ полезной ёмкости на GPU | Не менее 3 ТБ сырой ёмкости на GPU |
| Накопители | Поддерживаемая производителем архитектура | NVMe PCIe 5.0 по 30,72 ТБ, поддерживаются самошифрующиеся накопители |
| Референсные размеры | 512 ТБ, 1024 ТБ и 2304 ТБ полезной ёмкости для 64, 128 и 288 узлов | 9, 17 и 38 узлов, минимум 9 |
| Обслуживание | Эскалация к производителю 24/7, обязательства по пропускной способности и задержке для каждого уровня, прозрачные данные об использовании и квоты, проверенное восстановление | Мы эксплуатируем оборудование и заменяем NVMe-накопители до исчерпания ресурса записи; ПО хранения данных эксплуатируете вы |
Сырая ёмкость считается до применения защиты данных вашим ПО хранения; полезной считается ёмкость, которую СХД предоставляет после защиты данных средствами производителя. Вариант A подходит командам, которым нужен один производитель, отвечающий за пропускную способность, задержку и восстановление. Вариант B подходит командам, которые уже эксплуатируют собственное ПО хранения данных и хотят получить накопители и узлы, а не управляемую систему.
Каждый GPU-узел также оснащён собственными NVMe-накопителями: не менее 9,2 ТБ сырой ёмкости для локальных данных, что более чем в четыре раза превышает 2,1 ТБ памяти GPU узла, плюс два зеркалированных загрузочных накопителя по 1 ТБ (предпочтительно). Тест нагрузочного прогона HW-3 включает GPUDirect RDMA и smoke-тесты хранилища, в том числе чтение и запись NVMe.
Для обучения нужная пропускная способность записи определяется размером и частотой контрольных точек. Статья «Почему длительные запуски обучения срываются в общем облаке» рассматривает ввод-вывод хранилища и сохранение контрольных точек в длительных запусках.
Сеть north-south
Сеть north-south соединяет каждый узел с хранилищем, CPU-сервисами и внешней сетью и, как и GPU-фабрика, передаёт только ваш трафик.
- На узел: предпочтительно 400 Гбит/с, минимум 200 Гбит/с, через фронтенд-адаптеры NVIDIA BlueField-3 с 2 × 400 Гбит/с (предпочтительно) или 2 × 200 Гбит/с.
- Переподписка: отсутствует на leaf-коммутаторах хранилища, поэтому пропускная способность их восходящих каналов соответствует пропускной способности всех портов под ними; на leaf-коммутаторах GPU она ниже 4:1.
- Протоколы: поддержка RoCEv2, поэтому трафик хранилища и сервисов может использовать RDMA поверх маршрутизируемого Ethernet, с jumbo-кадрами MTU 9000.
- Изоляция: сеть выделена одному клиенту и отделена от GPU-фабрики east-west, описанной на странице «GPU-кластеры».
Выход в интернет и защита от DDoS
Ваш кластер выходит в интернет через двух независимых транзитных провайдеров и два резервированных пограничных маршрутизатора, с очисткой трафика от DDoS, которая включается через BGP в течение 5 минут.
- Транзит: два независимых провайдера по 100 Гбит/с на канал, по физически разнесённым трассам, поэтому один обрыв волокна не выводит из строя оба канала.
- Маршрутизация: eBGP с BFD, поэтому отказавший путь обнаруживается, а трафик переключается в течение минуты.
- Пограничные маршрутизаторы: два, с резервированием, с питанием по вводам A и B.
- Пограничные ACL: составляются по вашим правилам, изменения вносятся в течение одного рабочего дня.
- Защита от DDoS: очистка от объёмных атак уровней 3 и 4 силами признанного провайдера, включается через BGP в течение 5 минут, ёмкость не менее 1 Тбит/с.
NAT и публичные адреса
Исходящий трафик выходит через резервированную пару NAT с адресов, которые используете только вы, а входящие сервисы получают выделенные публичные адреса с переключением при отказе в течение 5 секунд.
NAT и исходящий трафик
Резервированная отказоустойчивая пара NAT обрабатывает не менее 10 млн одновременных сессий на выделенных адресах SNAT (обычно их четыре), поэтому партнёры могут вносить ваш исходящий трафик в списки разрешённых по адресу.
Публичные адреса сервисов
Вы получаете выделенные публичные адреса (обычно восемь) и можете анонсировать VIP своих сервисов по BGP с переключением при отказе в течение 5 секунд. IPv6 работает в режиме двойного стека вместе с IPv4.
Собственное IP-пространство и ASN
Если у вас есть собственное IP-пространство и ASN, наша внешняя сеть может их анонсировать, и ваши сервисы сохранят адреса, которые уже знают ваши пользователи и партнёры.
- Ваши префиксы и ASN: внешняя сеть анонсирует принадлежащие клиенту префиксы и ваш ASN.
- RPKI: авторизации источника маршрута (ROA) для ваших префиксов соблюдаются.
- Безопасность сессий: сессии BGP аутентифицируются.
Сетевая телеметрия
Оба пограничных маршрутизатора экспортируют записи потоков в ваш коллектор в формате NetFlow v9 или IPFIX, поэтому ваши сетевые команды и команды безопасности видят, что проходит через границу сети.
Мы также собираем внеполосную телеметрию оборудования через BMC и Redfish, а там, где она доступна, и телеметрию сети и площадки. Операционная телеметрия хранится не менее 30 дней, а история инцидентов и состояний хранится не менее 12 месяцев. Контроль доступа и наш внеполосный доступ с аудитом описаны на странице «Безопасность и комплаенс», а все значения времени реакции перечислены на странице «Обязательства по эксплуатации».
Что входит в ставку
Ставка покрывает серверы и сети, которые их соединяют. Хранилище и узлы вокруг GPU учитываются отдельными строками, поэтому вы платите за то, что использует ваша архитектура.
| Позиция | Где указывается |
|---|---|
| GPU-серверы с их CPU, памятью, NVMe-накопителями и сетевыми картами | Входит в ставку |
| Фабрика в кластерах HGX B300, 800 Гбит/с на GPU | Входит в ставку |
| Сеть north-south, построенная по спецификации поставки | Входит в ставку |
| Внешняя сеть: два транзитных провайдера, резервированные пограничные маршрутизаторы, выделенные публичные адреса и очистка трафика от DDoS | Входит в каждый кластер HGX B300 |
| Пропускная способность интернет-канала, указанная в вашем предложении, без платы за исходящий трафик | Входит в ставку |
| СХД VAST Data, WEKA или DDN либо узлы хранения | Отдельная строка в вашем предложении |
| Локальные NVMe-накопители сверх стандартных накопителей сервера | Отдельная строка в вашем предложении |
| CPU-узлы и узлы control plane | Отдельные строки в вашем предложении |
| Дополнительная пропускная способность и сетевые архитектуры сверх спецификации поставки | Цена указывается в вашем предложении |
Условия, выставление счетов и остальное содержание коммерческого предложения описаны на странице «Как заказать».
Вопросы заказчиков
Системы хранения каких производителей вы предлагаете?
VAST Data, WEKA или DDN в виде СХД под управлением производителя, на ваш выбор, или узлы хранения, на которых работает ваше собственное ПО хранения данных.
Какой объём хранилища входит в кластер HGX B300?
Не менее 1 ТБ полезной ёмкости на GPU в СХД, то есть 512 ТБ для кластера из 64 узлов, или не менее 3 ТБ сырой ёмкости на GPU на узлах хранения. Каждый GPU-узел также имеет не менее 9,2 ТБ сырой ёмкости локальных NVMe-накопителей.
Взимаете ли вы плату за исходящий трафик?
Нет. Счета за кластеры выставляются по единой фиксированной ставке на весь срок, без платы за исходящий трафик.
Можно ли использовать собственные IP-адреса и ASN?
Да. Внешняя сеть может анонсировать ваши префиксы и ваш ASN, соблюдает RPKI ROA и аутентифицирует сессии BGP.
Как быстро включается защита от DDoS?
Очистка от объёмных атак уровней 3 и 4 включается через BGP в течение 5 минут, ёмкость составляет не менее 1 Тбит/с.
Относится ли это ко всем серверам?
Это относится к кластерам HGX B300, построенным по нашей спецификации поставки. Для других серверов хранилище и сеть настраиваются под ваши требования и подтверждаются в вашем коммерческом предложении.
Расскажите, что вам нужно запускать.
Укажите оборудование, количество серверов, срок и дату начала. Вы получите письменное коммерческое предложение на основе нашей спецификации поставки.