NVIDIA L40S

A L40S é a GPU de data center de uso geral da NVIDIA na arquitetura Ada Lovelace, feita para executar IA e gráficos no mesmo hardware. A NVIDIA a chama de GPU universal para data center.

Ela é adequada a equipes que servem modelos que cabem em 48 GB por GPU, fazem renderização ou executam cargas de trabalho 3D e processam vídeo, muitas vezes em um único conjunto de servidores. Cada GPU tem 48 GB de GDDR6 com ECC, 384 GB por servidor, em uma placa com refrigeração passiva feita para o fluxo de ar de servidores. Como a mesma placa renderiza e serve modelos, você pode remanejar servidores entre trabalhos de gráficos e de inferência conforme o seu mix muda, sem um segundo conjunto de hardware.

A largura de banda de memória é de 864 GB/s por GPU. A L40S suporta o software NVIDIA vGPU, mas não o MIG, e suas GPUs se conectam via PCIe Gen4 x16 a 64 GB/s, sem NVLink. Ela atende melhor a trabalhos que rodam em uma GPU, ou que se dividem entre duas ou três via PCIe, do que a modelos que exigem tráfego constante entre GPUs.

Os servidores L40S são configurados de acordo com seus requisitos e confirmados na sua proposta: CPU, memória do sistema, NVMe local e rede. Informe se os servidores vão executar inferência, renderização ou ambos, e dimensionamos a memória do host e o armazenamento em torno desse mix.

Todo servidor passa por burn-in antes da entrega, e os resultados vão para um relatório de aceite. Nossa página Burn-in e aceite explica como isso substitui um período de teste.

Os servidores L40S estão disponíveis sob consulta. Informe o número de servidores, o prazo e a data de início, e confirmamos a configuração e o cronograma de entrega em uma proposta por escrito.

Os contratos são de 36, 48 ou 60 meses, e prazos mais longos têm valores menores. A empresa que vai usar os servidores preenche três formulários de onboarding antes de assinar. Você paga a entrada na assinatura e, depois, um valor mensal fixo durante todo o prazo, sem taxas de saída de dados. Nossa página Como contratar trata de cada etapa, e nossa página de data centers lista onde os servidores operam.

Dimensione pela memória: pesos, cache KV e margem precisam caber em 48 GB por GPU. Um modelo de 30B parâmetros em FP8 cabe em uma L40S; um modelo de 70B em FP8 precisa de cerca de 70 GB só para os pesos, então ocupa duas GPUs.

Reserve espaço para o cache KV, que cresce com o tamanho do contexto e a concorrência. Para um modelo de 70B, ele custa cerca de 0,33 MB por token, ou cerca de 2,7 GB para uma sequência de 8K tokens, então duas GPUs L40S com 70 GB de pesos em FP8 ficam com cerca de 26 GB para cache e margem.

Nossa página de inferência de IA trata de como servir modelos em servidores dedicados, e a de mídia e entretenimento trata de renderização e vídeo. Inferência de LLM em bare metal dedicado e 70 GB de pesos, quatro GPUs explicam a regra de dimensionamento.

Se você precisa de mais memória por GPU ou de FP4, a RTX PRO 6000 Blackwell tem 96 GB por GPU, com alocação aberta em Montreal. Para trabalhos focados em gráficos, com 48 GB e pontes NVLink entre pares de placas, veja a RTX A6000.