Выделенные GPU-серверы для инференса ИИ
Серверы NVIDIA целиком, без гипервизора и других арендаторов, подобранные по объёму памяти, который нужен вашей модели и её KV-кэшу: 48 ГБ, 96 ГБ или 270 ГБ на GPU.
Компания 1Legion сдаёт GPU-серверы для инференса ИИ целиком: восемь GPU NVIDIA, которые обслуживают только ваш трафик, без гипервизора между вашим стеком инференса и оборудованием. Вы выбираете сервер по объёму памяти на GPU, потому что веса и KV-кэш каждого активного запроса должны поместиться в эту память.
Выделенные серверы для инференса обеспечивают предсказуемую задержку
На выделенном сервере за память GPU и её пропускную способность конкурируют только ваши собственные запросы.
Для плотной модели генерация каждого токена требует чтения всех её весов из памяти GPU, поэтому скорость декодирования определяется пропускной способностью памяти. Модель с 70 млрд параметров в FP8 занимает 70 ГБ весов, а GPU в HGX B300 читает свою память со скоростью 7,7 ТБ/с, поэтому потолок для одной последовательности составляет около 110 токенов в секунду без учёта чтения KV-кэша. Батчинг обслуживает множество последовательностей за одно и то же чтение. На общем оборудовании этот потолок смещается под нагрузкой другого арендатора. На нашем оборудовании арендатор один и гипервизора нет, а изменения с нашей стороны проходят по документированной процедуре управления изменениями с уведомлением о работах с высоким риском не менее чем за 7 дней. Механизмы описаны в нашей статье о том, почему инференс LLM ломается на общей GPU-инфраструктуре.
Оборудование для инференса LLM, подобранное по весам и KV-кэшу
Нужный объём памяти складывается из весов модели, KV-кэша всех одновременных последовательностей и запаса для активаций и среды выполнения.
Веса занимают 2 байта на параметр в FP16 или BF16, 1 байт в FP8 и полбайта в FP4, поэтому модели с 70 млрд параметров нужно 140 ГБ, 70 ГБ или 35 ГБ. KV-кэш растёт с каждым обрабатываемым токеном: модель класса Llama 3 70B с 80 слоями и 8 KV-головами хранит около 0,33 МБ на токен при 16-битной точности, или около 10,7 ГБ на одну последовательность из 32 768 токенов.
| Модель 70B в FP8, один GPU | Свободная память после весов | Одновременные последовательности 8K | Одновременные последовательности 32K |
|---|---|---|---|
| HGX B300, 270 ГБ | около 200 ГБ | около 74 | около 18 |
| RTX PRO 6000 Blackwell, 96 ГБ | около 26 ГБ | около 9 | около 2 |
Это верхние оценки. Они не учитывают активации и накладные расходы фреймворка и предполагают 16-битный KV-кэш, а квантование кэша позволяет их увеличить. Подробный расчёт приведён в статье «Что остаётся для KV-кэша при 96 и 270 ГБ».
Какой сервер подходит для какой модели
HGX B300 обслуживает самые крупные модели и самые длинные контексты, RTX PRO 6000 Blackwell обслуживает модели класса 70B в FP8 или FP4, а L40S обслуживает модели меньшего размера.
HGX B300
270 ГБ HBM3e на GPU со скоростью 7,7 ТБ/с и 2,1 ТБ на сервер. Модель с 405 млрд параметров в FP4, около 203 ГБ, помещается на одном GPU, и для кэша остаётся около 67 ГБ. Открыто бронирование, площадка в Торонто.
RTX PRO 6000 Blackwell
96 ГБ GDDR7 с ECC на GPU и 768 ГБ на сервер, FP8 и FP4 на тензорных ядрах пятого поколения. Модель 70B в FP4 оставляет около 61 ГБ на GPU для кэша. Открыто бронирование, площадка в Монреале.
L40S
48 ГБ GDDR6 с ECC на GPU со скоростью 864 ГБ/с, 384 ГБ на сервер и 733 TFLOPS в FP8 без разреженности. Модель с 8 млрд параметров в FP16 занимает 16 ГБ и оставляет около 32 ГБ для кэша. По запросу.
Когда одной модели нужно больше памяти, чем есть в сервере, GB300 NVL72 объединяет 72 GPU и 20 ТБ HBM3e в одном домене NVLink с пропускной способностью NVLink 130 ТБ/с; эта система доступна по предварительному бронированию.
Одна реплика на GPU, восемь реплик на сервер
Сервер на 8 GPU представляет собой восемь отдельных пулов памяти, поэтому в большинстве развёртываний на каждом GPU работает одна реплика модели за балансировщиком нагрузки.
На HGX B300 это может быть восемь реплик модели 70B в FP8, каждая из которых держит около 18 последовательностей по 32K токенов, или четыре реплики модели 405B в FP8, каждая на двух GPU, связанных через NVLink со скоростью 1,8 ТБ/с на GPU. GPU RTX PRO 6000 Blackwell соединяются через PCIe 5.0 x16, а не через NVLink, поэтому им подходят реплики на отдельных GPU: восемь реплик 70B в FP4 или четыре GPU, обслуживающие запросы, пока ещё четыре дообучают следующую версию. Пропускная способность их памяти составляет примерно пятую часть от пропускной способности GPU B300, поэтому они лучше подходят для батчевого обслуживания, чем для задач, где нужна минимальная задержка одного потока. Для небольших моделей MIG позволяет создать до четырёх экземпляров по 24 ГБ на одном RTX PRO 6000 и до семи экземпляров на одном GPU B300. Схемы размещения приведены в наших статьях о том, что помещается на узле B300 и что помещается на узле RTX PRO 6000.
Обслуживание публичного трафика через внешнюю сеть
В кластерах HGX B300, построенных по нашей спецификации поставки, внешняя сеть рассчитана на публичные эндпоинты инференса.
- Два независимых транзитных провайдера по 100 Гбит/с на канал, по физически разнесённым трассам, с eBGP и BFD.
- Выделенные публичные адреса сервисов, обычно восемь, с анонсом ваших VIP по BGP, переключением при отказе в течение 5 секунд и двойным стеком IPv6.
- Очистка трафика от объёмных DDoS-атак уровней 3 и 4 ёмкостью не менее 1 Тбит/с, включается через BGP в течение 5 минут.
- Резервированная пара NAT, поддерживающая не менее 10 млн одновременных сессий, и выделенные адреса SNAT.
- Ваше собственное IP-пространство и ASN с соблюдением RPKI ROA.
Полная архитектура описана на странице «Хранилище и сеть», а инференс на B300 рассматривается в статье «B300 для инференса в продакшене».
Где работают серверы для инференса
Серверы HGX B300 работают в Торонто, а серверы RTX PRO 6000 Blackwell и другие серверы для инференса работают в Монреале.
Торонто
В эксплуатацииСерверы и кластеры NVIDIA HGX B300.
Монреаль
В эксплуатацииRTX PRO 6000 Blackwell и другие серверы для инференса, с инженерной поддержкой на площадке.
Делавэр
Вводится в эксплуатациюМощности HGX B300 для клиентов, которым нужны вычисления в США.
Хельсинки
В разработкеBrownfield-площадка для дата-центра, в разработке под будущие мощности в Европе.
Партнёрская сеть: 49 дата-центров в 26 городах Северной Америки, Европы, Африки и Австралии. Смотреть все площадки
Мощности HGX B300 в Делавэре (США) вводятся в эксплуатацию. Если ваши данные должны оставаться в Канаде, выбирайте Торонто или Монреаль; смотрите наши дата-центры и GPU-облако в Канаде.
Как устроена аренда серверов для инференса
Серверы для инференса сдаются в аренду целиком на 36, 48 или 60 месяцев по единой фиксированной ежемесячной ставке, указанной в письменном коммерческом предложении, без платы за исходящий трафик, который отправляют ваши эндпоинты.
Вы вносите авансовый платёж при подписании договора, затем платите ежемесячно в течение срока, и чем длиннее срок, тем ниже ставка. Формы для подключения и договор описаны на странице «Как заказать».
Вопросы заказчиков
Можно ли арендовать один GPU для инференса?
Нет. Мы сдаём в аренду серверы целиком, по восемь GPU в каждом. Одна реплика модели на GPU или экземпляры MIG позволяют запускать несколько моделей на одном сервере.
Какой сервер подходит для модели 70B?
RTX PRO 6000 Blackwell вмещает модель 70B в FP8 или FP4 на одном GPU с 96 ГБ. Для длинных контекстов или большого числа одновременных запросов HGX B300 оставляет около 200 ГБ на GPU для KV-кэша после размещения весов в FP8.
Вы берёте плату за токен, за запрос или за исходящий трафик?
Нет. Вы платите за серверы единую фиксированную ежемесячную ставку в течение всего срока, а платы за исходящий трафик нет.
Можно ли протестировать производительность нашей модели до подписания договора?
Мы не предлагаем пробных периодов или пилотных проектов. Наши инженеры вместе с вами подбирают сервер по весам вашей модели, длине контекста и числу одновременных запросов, а каждый кластер проходит нагрузочный прогон до передачи, и результаты фиксируются в отчёте о приёмке.
Где находятся ваши серверы для инференса?
Серверы HGX B300 находятся в Торонто, а серверы RTX PRO 6000 Blackwell и другие серверы для инференса находятся в Монреале. Мощности HGX B300 в Делавэре (США) вводятся в эксплуатацию.
Какое ПО для инференса мы можем запускать?
Это серверы bare metal, поэтому вы устанавливаете собственный стек, например vLLM, SGLang или TensorRT-LLM. Мы также можем установить под ним управляемый Kubernetes и сопровождать его.
Подберите сервер для инференса под вашу модель
Укажите модель, точность, длину контекста и ожидаемый трафик, и мы ответим письменным коммерческим предложением.