Servidores de GPU dedicados para inferência de IA
Servidores NVIDIA inteiros, sem hipervisor e sem outros locatários, dimensionados pela memória de que seu modelo e o cache KV dele precisam: 48 GB, 96 GB ou 270 GB por GPU.
A 1Legion aluga servidores de GPU para inferência de IA como máquinas inteiras: oito GPUs NVIDIA que atendem somente ao seu tráfego, sem hipervisor entre sua stack de inferência e o hardware. Você escolhe um servidor pela memória por GPU, porque os pesos e o cache KV de cada requisição ativa precisam caber nele.
Servidores de inferência dedicados mantêm a latência previsível
Em um servidor dedicado, as únicas requisições que disputam a memória da GPU e a largura de banda de memória são as suas.
Em um modelo denso, gerar cada token exige ler todos os pesos da memória da GPU, então a largura de banda de memória define a velocidade de decodificação. Um modelo de 70B parâmetros em FP8 tem 70 GB de pesos, e uma GPU do HGX B300 lê sua memória a 7,7 TB/s, o que coloca o teto para uma única sequência perto de 110 tokens por segundo, antes das leituras do cache KV. O batching atende várias sequências com a mesma leitura. Em hardware compartilhado, a carga de outro locatário altera esse teto. No nosso, há um único locatário e nenhum hipervisor, e as mudanças do nosso lado seguem uma gestão de mudanças por escrito, com aviso prévio de pelo menos 7 dias para manutenção de alto risco. Nosso artigo sobre por que a inferência de LLM falha em infraestrutura de GPU compartilhada explica os mecanismos.
Hardware de inferência de LLM dimensionado por pesos e cache KV
A memória necessária é a soma dos pesos do modelo, do cache KV de cada sequência simultânea e de uma margem para as ativações e o runtime.
Os pesos ocupam 2 bytes por parâmetro em FP16 ou BF16, 1 byte em FP8 e meio byte em FP4, então um modelo de 70B parâmetros precisa de 140 GB, 70 GB ou 35 GB. O cache KV cresce a cada token em processamento: um modelo da classe Llama 3 70B, com 80 camadas e 8 cabeças KV, armazena cerca de 0,33 MB por token com precisão de 16 bits, ou cerca de 10,7 GB para uma sequência de 32.768 tokens.
| Modelo de 70B em FP8, uma GPU | Memória livre após os pesos | Sequências de 8K simultâneas | Sequências de 32K simultâneas |
|---|---|---|---|
| HGX B300, 270 GB | cerca de 200 GB | cerca de 74 | cerca de 18 |
| RTX PRO 6000 Blackwell, 96 GB | cerca de 26 GB | cerca de 9 | cerca de 2 |
Esses são limites superiores. Eles desconsideram as ativações e a sobrecarga do framework e pressupõem um cache KV de 16 bits; quantizar o cache amplia esses limites. As contas estão detalhadas em o que sobra para o cache KV com 96 e 270 GB.
Qual servidor serve para qual modelo
O HGX B300 atende os maiores modelos e os contextos mais longos, a RTX PRO 6000 Blackwell atende modelos da classe de 70B em FP8 ou FP4, e a L40S atende modelos menores.
HGX B300
270 GB de HBM3e por GPU a 7,7 TB/s, e 2,1 TB por servidor. Um modelo de 405B parâmetros em FP4, cerca de 203 GB, cabe em uma GPU com cerca de 67 GB livres para o cache. Alocação aberta, em Toronto.
RTX PRO 6000 Blackwell
96 GB de GDDR7 com ECC por GPU e 768 GB por servidor, com FP8 e FP4 nos Tensor Cores de quinta geração. Um modelo de 70B em FP4 deixa cerca de 61 GB por GPU para o cache. Alocação aberta, em Montreal.
L40S
48 GB de GDDR6 com ECC por GPU a 864 GB/s, 384 GB por servidor e 733 TFLOPS de FP8 denso. Um modelo de 8B parâmetros em FP16 ocupa 16 GB e deixa cerca de 32 GB para o cache. Sob consulta.
Quando um modelo precisa de mais memória do que um servidor comporta, o GB300 NVL72 reúne 72 GPUs e 20 TB de HBM3e em um único domínio NVLink, com 130 TB/s de largura de banda NVLink, mediante reserva.
Uma réplica por GPU, oito por servidor
Um servidor de 8 GPUs equivale a oito pools de memória separados, por isso a maioria das implantações executa uma réplica do modelo por GPU atrás de um balanceador de carga.
No HGX B300, podem ser oito réplicas de um modelo de 70B em FP8, cada uma com cerca de 18 sequências de 32K tokens, ou quatro réplicas de duas GPUs de um modelo de 405B em FP8 via NVLink a 1,8 TB/s por GPU. As GPUs RTX PRO 6000 Blackwell se conectam via PCIe 5.0 x16, e não via NVLink, por isso réplicas por GPU são adequadas a elas: oito réplicas de 70B em FP4, ou quatro GPUs fazendo inferência enquanto outras quatro fazem o fine-tuning da próxima versão. A largura de banda de memória delas é cerca de um quinto da de uma GPU B300, por isso são mais adequadas para inferência em lotes do que para a menor latência de fluxo único. Para modelos pequenos, o MIG divide uma RTX PRO 6000 em até quatro instâncias de 24 GB e uma GPU B300 em até sete. Nossos artigos sobre o que cabe em um nó B300 e o que cabe em um nó RTX PRO 6000 apresentam os layouts.
Atendimento de tráfego público na borda
Nos clusters HGX B300 construídos segundo nossa especificação de entrega, a rede de borda é projetada para endpoints públicos de inferência.
- Dois provedores de trânsito independentes, com 100 Gb/s por circuito, em rotas fisicamente distintas, com eBGP e BFD.
- Endereços públicos de serviço dedicados, normalmente oito, com seus VIPs anunciados via BGP, failover em até 5 segundos e dual stack IPv6.
- Filtragem volumétrica de DDoS nas camadas 3 e 4 de pelo menos 1 Tb/s, ativada via BGP em até 5 minutos.
- Um par de NAT redundante com pelo menos 10 milhões de sessões simultâneas e endereços SNAT dedicados.
- Seu próprio espaço IP e ASN, com as ROAs de RPKI respeitadas.
O projeto completo está em armazenamento e rede, e a inferência na B300 é abordada em B300 para inferência em produção.
Onde os servidores de inferência operam
O HGX B300 opera em Toronto, e os servidores RTX PRO 6000 Blackwell e outros servidores de inferência operam em Montreal.
Toronto
Em operaçãoServidores e clusters NVIDIA HGX B300.
Montreal
Em operaçãoRTX PRO 6000 Blackwell e outros servidores de inferência, com suporte de engenharia no local.
Delaware
Entrando em operaçãoCapacidade HGX B300 para clientes que precisam ter sua computação nos Estados Unidos.
Helsinque
Em desenvolvimentoUm local brownfield para data center, em desenvolvimento para capacidade futura na Europa.
Rede de data centers parceiros: 49 em 26 cidades na América do Norte, na Europa, na África e na Austrália. Ver todos os locais
A capacidade de HGX B300 em Delaware, nos Estados Unidos, está entrando em operação. Se os seus dados precisam ficar no Canadá, escolha Toronto ou Montreal; veja nossos data centers e nuvem de GPU no Canadá.
Como funciona o aluguel de servidores de inferência
Os servidores de inferência são alugados inteiros por 36, 48 ou 60 meses, com um valor mensal fixo definido em uma proposta por escrito, sem taxas de saída de dados sobre o tráfego que seus endpoints enviam.
Você paga a entrada na assinatura e, depois, mensalmente ao longo do prazo, e prazos mais longos têm valores menores. Como contratar explica os formulários de onboarding e o contrato.
Perguntas que os compradores fazem
Podemos alugar uma única GPU para inferência?
Não. Alugamos servidores inteiros com oito GPUs cada. Uma réplica do modelo por GPU, ou instâncias MIG, permitem executar vários modelos em um servidor.
Qual servidor é adequado para um modelo de 70B?
A RTX PRO 6000 Blackwell comporta um modelo de 70B em FP8 ou FP4 em uma GPU de 96 GB. Para contextos longos ou alta concorrência, o HGX B300 deixa cerca de 200 GB por GPU para o cache KV após os pesos em FP8.
Vocês cobram por token, por requisição ou pela saída de dados?
Não. Você paga um valor mensal fixo pelos servidores durante o prazo, e não há taxas de saída de dados.
Podemos fazer benchmark do nosso modelo antes de assinar?
Não oferecemos períodos de teste nem provas de conceito. Nossos engenheiros dimensionam o servidor com você a partir dos pesos, do comprimento de contexto e da concorrência do seu modelo, e todo cluster passa por burn-in antes da entrega, com os resultados em um relatório de aceite.
Onde ficam os servidores de inferência de vocês?
Os servidores HGX B300 ficam em Toronto, e os servidores RTX PRO 6000 Blackwell e outros servidores de inferência ficam em Montreal. A capacidade de HGX B300 em Delaware, nos Estados Unidos, está entrando em operação.
Qual software de inferência podemos executar?
Os servidores são bare metal, então você instala sua própria stack, por exemplo vLLM, SGLang ou TensorRT-LLM. Também podemos instalar e operar Kubernetes gerenciado por baixo dela.
Dimensione um servidor de inferência para o seu modelo
Informe o modelo, a precisão, o comprimento de contexto e o tráfego esperado, e respondemos com uma proposta por escrito.