NVIDIA L40S

L40S является GPU общего назначения от NVIDIA для дата-центров на архитектуре Ada Lovelace, созданным для выполнения задач ИИ и графики на одном и том же оборудовании. NVIDIA называет его универсальным GPU для дата-центров.

Он подходит командам, которые обслуживают модели, умещающиеся в 48 ГБ на GPU, выполняют рендеринг или 3D-нагрузки и обрабатывают видео, часто на одном наборе серверов. У каждого GPU 48 ГБ GDDR6 с ECC (384 ГБ на сервер); карта с пассивным охлаждением рассчитана на воздушный поток сервера. Поскольку одна и та же карта выполняет и рендеринг, и обслуживание моделей, вы можете переключать серверы между графикой и инференсом по мере изменения структуры нагрузок, без второго комплекта оборудования.

Пропускная способность памяти составляет 864 ГБ/с на GPU. L40S поддерживает ПО NVIDIA vGPU, но не MIG, а его GPU подключаются через PCIe Gen4 x16 со скоростью 64 ГБ/с, без NVLink. Он лучше подходит для задач, которые выполняются на одном GPU или распределяются на два или три GPU через PCIe, чем для моделей, которым нужен постоянный обмен данными между GPU.

Конфигурация серверов L40S подбирается под ваши требования и подтверждается в вашем коммерческом предложении: CPU, системная память, локальные NVMe-накопители и сеть. Сообщите, будут ли серверы выполнять инференс, рендеринг или и то и другое, и мы подберём память хоста и хранилище под это сочетание.

Каждый сервер проходит нагрузочный прогон до передачи, а результаты входят в отчёт о приёмке. Как это заменяет пробный период, объясняется на странице «Нагрузочный прогон и приёмка».

Серверы L40S доступны по запросу. Сообщите число серверов, срок и дату начала, и мы подтвердим конфигурацию и график поставки в письменном коммерческом предложении.

Договоры заключаются на 36, 48 или 60 месяцев, и чем дольше срок, тем ниже ставка. Компания, которая будет использовать серверы, до подписания договора заполняет три формы для подключения. При подписании вы вносите авансовый платёж, а затем платите по единой фиксированной ежемесячной ставке в течение всего срока, без платы за исходящий трафик. Каждый шаг описан на странице «Как заказать», а площадки, где работают серверы, перечислены на странице «Дата-центры».

Подбирайте конфигурацию по памяти: веса, KV-кэш и запас должны умещаться в 48 ГБ на GPU. Модель с 30 млрд параметров в FP8 помещается на одном L40S; модели 70B в FP8 нужно около 70 ГБ только для весов, поэтому она занимает два GPU.

Оставьте место для KV-кэша, который растёт с длиной контекста и числом одновременных запросов. Для модели 70B он занимает около 0,33 МБ на токен, или около 2,7 ГБ на одну последовательность из 8K токенов, поэтому у двух GPU L40S с 70 ГБ весов в FP8 остаётся около 26 ГБ для кэша и запаса.

Обслуживание моделей на выделенных серверах описано на странице «Инференс ИИ», а рендеринг и видео описаны на странице «Медиа и развлечения». Правило расчёта конфигурации объясняют статьи «Инференс LLM на выделенных серверах bare metal» и «70 ГБ весов, четыре GPU».

Если вам нужно больше памяти на GPU или FP4, у RTX PRO 6000 Blackwell 96 ГБ на GPU, и на него открыто бронирование в Монреале. Для графических задач, которым нужны 48 ГБ и мосты NVLink между парами карт, см. RTX A6000.