Clusters de GPU para treinamento de IA
Clusters NVIDIA HGX B300 dedicados com 270 GB de HBM3e e 800 Gb/s de fabric por GPU, construídos segundo uma especificação publicada e submetidos a burn-in antes do seu primeiro passo de treinamento.
Um cluster de GPU da 1Legion para treinamento de IA é um conjunto de servidores NVIDIA HGX B300 inteiros em um fabric leste-oeste que transporta apenas o seu tráfego, alugado a um único cliente por 36, 48 ou 60 meses. Construímos cada cluster segundo nossa especificação de entrega publicada e fazemos o burn-in antes da entrega, para que o primeiro passo de um treinamento de várias semanas comece em nós que já passaram por um teste contínuo de 24 horas.
O que a infraestrutura de treinamento de LLM precisa sustentar
Um treinamento que dura semanas precisa de memória para o estado do otimizador, de um fabric sem nenhum link lento, de armazenamento rápido para checkpoints e de um ambiente que não mude por baixo dele.
Memória para o estado do otimizador
O treinamento com precisão mista e o otimizador Adam ocupa cerca de 16 bytes por parâmetro entre pesos, gradientes e estado do otimizador. Para um modelo de 70B parâmetros, isso dá cerca de 1,1 TB antes das ativações, o que cabe nos 2,1 TB de HBM3e de um servidor HGX B300.
Um fabric sem nenhum link lento
O treinamento com sharding e paralelismo de dados sincroniza os gradientes entre todas as GPUs a cada passo, então um único link congestionado deixa todo o cluster mais lento. Nossos fabrics HGX B300 são totalmente não bloqueantes, com 800 Gb/s por GPU.
Throughput de checkpoints
Um checkpoint com pesos mestres em FP32 e estado do Adam para um modelo de 70B parâmetros tem cerca de 840 GB, e um salvamento síncrono deixa todas as GPUs em espera até ser gravado. O armazenamento é dimensionado por GPU, e os checkpoints saem do cluster sem taxas de saída de dados.
Um ambiente que não muda
Nenhum outro locatário compartilha seus servidores ou seu fabric. As mudanças do nosso lado seguem uma gestão de mudanças por escrito, com aviso prévio de pelo menos 7 dias para manutenção de alto risco.
Nosso artigo sobre gargalos de treinamento explica por que a memória e a interconexão, e não o número de GPUs, definem o throughput do treinamento.
Quais servidores são adequados para cargas de treinamento
O HGX B300 é nossa principal plataforma de treinamento e o HGX B200 também está com alocação aberta, enquanto o GB300 NVL72 e o Vera Rubin estão disponíveis mediante reserva.
- Memória por GPU
- 270 GB HBM3e
- GPUs por servidor
- 8
- Memória por GPU
- 180 GB HBM3e
- GPUs por servidor
- 8
- Memória por GPU
- 279 GB HBM3e
- GPUs por rack
- 72
- Memória por GPU
- 288 GB HBM4
- GPUs por servidor
- 8
| Servidor de 8 GPUs | HGX B300 | HGX B200 |
|---|---|---|
| Memória de GPU por servidor | 2,1 TB de HBM3e | 1.440 GB de HBM3e |
| Largura de banda de memória por GPU | 7,7 TB/s | 7,7 TB/s |
| NVLink | 1,8 TB/s por GPU, 14,4 TB/s no total | 1,8 TB/s por GPU, 14,4 TB/s no total |
| Tensor FP4 por servidor, esparso e denso | 144 e 108 PFLOPS | 144 e 72 PFLOPS |
| Tensor FP8 por servidor, esparso | 72 PFLOPS | 72 PFLOPS |
| FP64 por servidor | 10 TFLOPS | 296 TFLOPS |
Escolha o HGX B300 quando a memória por GPU determinar como você faz o sharding: 270 GB comportam os 140 GB de pesos em BF16 de um modelo de 70B parâmetros em uma GPU, com 130 GB de sobra. Escolha o HGX B200 quando seu trabalho combinar treinamento com simulação em FP64. O GB300 NVL72 une 72 GPUs Blackwell Ultra e 36 CPUs Grace em um único domínio NVLink com refrigeração líquida, com 20 TB de HBM3e e 130 TB/s de largura de banda NVLink. O Vera Rubin é a próxima plataforma da NVIDIA que temos encomendada, com 288 GB de HBM4 por GPU e NVLink de sexta geração.
Um fabric dedicado e não bloqueante
Cada cluster HGX B300 tem seu próprio fabric leste-oeste, otimizado para rails e totalmente não bloqueante, com 800 Gb/s por GPU.
- Largura de banda: planos de 1 x 800 ou 2 x 400 Gb/s por GPU, 6,4 Tb/s por servidor, com preferência por NVIDIA ConnectX-8.
- Comutação: NVIDIA Spectrum-X ou Broadcom Tomahawk 6 preferenciais; NVIDIA Quantum InfiniBand ou Tomahawk 5 aceitos.
- Dentro de cada servidor: NVLink de quinta geração a 1,8 TB/s por GPU.
- Armazenamento e serviços: uma rede norte-sul separada, preferencialmente de 400 Gb/s por nó, compatível com RoCEv2, MTU 9000, sem sobreassinatura nos switches leaf de armazenamento.
Os clusters têm três tamanhos de referência, e clusters maiores seguem o mesmo projeto.
| Item | 64 nós | 128 nós | 288 nós |
|---|---|---|---|
| Nós de GPU (8 GPUs cada) | 64 | 128 | 288 |
| GPUs | 512 | 1.024 | 2.304 |
| Nós de CPU | 24 | 48 | 108 |
| Nós de plano de controle | 6 | 6 | 6 |
| Armazenamento, opção de appliance (utilizável) | 512 TB | 1.024 TB | 2.304 TB |
| Armazenamento, opção de nós de armazenamento | 9 nós | 17 nós | 38 nós |
| Carga de TI estimada | cerca de 0,98 MW | cerca de 1,95 MW | cerca de 4,39 MW |
Cada tamanho inclui nós de CPU para atendimento de requisições, roteamento e processamento em lote, com pelo menos 6 threads de hardware e 24 GB de memória por GPU do cluster, e seis nós de plano de controle distribuídos em dois racks. Nossa página de clusters de GPU aborda o planejamento de energia considerando cerca de 14 kW por nó de GPU.
Armazenamento de checkpoints e datasets
O armazenamento tem duas opções, ambas dimensionadas por GPU, e cada nó de GPU acrescenta pelo menos 9,2 TB brutos de NVMe local para shards de datasets e staging de checkpoints.
Opção A: um appliance gerenciado
Um appliance VAST Data, WEKA ou DDN, à sua escolha, com pelo menos 1 TB utilizável por GPU (512 TB em um cluster de 64 nós), throughput e latência definidos em contrato por camada, uso e cotas visíveis, recuperação testada e escalonamento 24/7 com o fornecedor.
Opção B: nós de armazenamento para o seu próprio software
Nós de armazenamento com pelo menos 3 TB brutos por GPU em drives NVMe PCIe 5.0 de 30,72 TB, a partir de um mínimo de 9 nós, com suporte a drives com autocriptografia. As duas opções estão descritas em armazenamento e rede.
Como tratamos falhas durante uma execução
Quando o hardware falha no meio de uma execução, tiramos o nó de operação e o reparamos ou substituímos, para que seu job possa reiniciar em nós saudáveis.
- Falhas fatais de GPU (XID 79, XID 48, erros ECC de bit duplo e falhas de remapeamento de linhas) colocam um nó em quarentena imediatamente.
- Erros XID 13 e XID 31 recorrentes são tratados a partir de um número de ocorrências acordado com você.
- Travamentos do NCCL são correlacionados com eventos do fabric, para que um job parado seja associado ao link que o causou.
- Os nós com suspeita de corrupção silenciosa de dados permanecem em quarentena.
- Os drives NVMe são substituídos antes de atingirem seus limites de durabilidade.
A telemetria operacional é mantida por pelo menos 30 dias, e o histórico de incidentes e de estado por pelo menos 12 meses. A lista completa está nos nossos compromissos operacionais, e nosso artigo sobre por que treinamentos longos falham em nuvem compartilhada aborda os modos de falha.
Burn-in em vez de período de teste
Todo cluster passa nos testes de validação de hardware HW-1 a HW-5 da NVIDIA antes da entrega, e os resultados entram no seu relatório de aceite.
- HW-1
Throughput coletivo
Throughput NCCL de referência medido com nccl-tests, com operações coletivas aceleradas por SHARP onde o fabric oferece suporte.
nccl-tests - HW-2
Todos os rails de rede
Cada rail InfiniBand ou RoCE testado com ib_write_bw.
ib_write_bw - HW-3
GPUDirect e armazenamento
Smoke tests de GPUDirect RDMA e de armazenamento, incluindo leitura e gravação em NVMe.
GPUDirect RDMA, NVMe - HW-4
NVLink e NVSwitch
Número de links e largura de banda de NVLink e NVSwitch verificados com nvbandwidth.
nvbandwidth - HW-5
Teste contínuo de 24 horas
Um teste contínuo de 24 horas sob uma carga de inferência representativa, com um limite de potência constante.
carga de inferência com limite de potência
Não oferecemos períodos de teste, provas de conceito nem aluguéis de curto prazo. O relatório de aceite mostra o throughput do NCCL, cada rail InfiniBand ou RoCE, os links NVLink e NVSwitch e um teste contínuo de 24 horas, medidos nos nós em que você vai treinar. Veja como funciona o burn-in e aceite.
Alugue GPUs para treinamento de modelos com prazos de 36 a 60 meses
Os clusters de treinamento são alugados como servidores inteiros por 36, 48 ou 60 meses, com um valor mensal fixo, e prazos mais longos têm valores menores.
Solicitar cotação
Informe o tamanho do modelo, o número de servidores, o prazo, o local e quando você precisa deles.
Proposta
Enviamos uma proposta por escrito com base na nossa especificação de entrega, com cada alteração de que você precisa listada como um desvio numerado.
Onboarding e contrato
A empresa que vai usar os servidores preenche nossos três formulários de onboarding, assina o contrato de locação e paga a entrada.
Montagem, burn-in e entrega
Montamos o cluster e fazemos o burn-in em Toronto, ou em Delaware quando esse local entrar em operação, e então o entregamos com o relatório de aceite, um canal compartilhado no Slack e um responsável técnico designado para a conta.
O saldo é faturado mensalmente ao longo do prazo, sem taxas de saída de dados, e alocações maiores podem exigir uma garantia bancária ou carta de crédito. Se você quiser que operemos a camada de plataforma, instalamos e operamos Kubernetes gerenciado com o NVIDIA GPU Operator e o Network Operator, ou Slurm gerenciado. Nosso artigo sobre treinamento contínuo em B300 dedicado mostra como os laboratórios planejam uma campanha em torno de um prazo fixo.
Perguntas que os compradores fazem
Qual é o menor cluster de treinamento que vocês alugam?
Alugamos servidores inteiros, então a menor unidade é um servidor HGX B300 de 8 GPUs com prazo de 36 meses. Nossos clusters de referência têm 64, 128 e 288 nós em um único fabric dedicado, e clusters maiores seguem o mesmo projeto.
Podemos testar o cluster antes de assinar?
Não oferecemos períodos de teste nem provas de conceito. Todo cluster passa nos testes de validação de hardware HW-1 a HW-5 da NVIDIA antes da entrega, e você recebe os resultados em um relatório de aceite. Veja burn-in e aceite.
Vocês constroem fabrics de treinamento InfiniBand ou Ethernet?
Nossa especificação de entrega prefere NVIDIA Spectrum-X ou Broadcom Tomahawk 6 e aceita NVIDIA Quantum InfiniBand ou Tomahawk 5. Em qualquer caso, o fabric é otimizado para rails, totalmente não bloqueante, com 800 Gb/s por GPU e dedicado a você.
Qual armazenamento devemos escolher para checkpoints?
A opção A é um appliance VAST Data, WEKA ou DDN com pelo menos 1 TB utilizável por GPU e escalonamento 24/7 com o fornecedor. A opção B são nós de armazenamento com pelo menos 3 TB brutos por GPU para um software de armazenamento operado por você.
O que acontece quando uma GPU falha durante uma execução?
Falhas fatais, como XID 79 ou erros ECC de bit duplo, colocam o nó em quarentena imediatamente, e o reparamos ou substituímos antes que ele volte ao seu cluster. Um comandante de incidentes é designado em até 15 minutos.
Vocês oferecem prazos de um ou dois anos para clusters de treinamento?
Não. Os servidores de GPU são alugados por 36, 48 ou 60 meses, e prazos mais longos têm valores menores.
Planeje seu próximo cluster de treinamento
Informe o modelo, o tamanho do cluster, o prazo e o local, e respondemos com uma proposta por escrito com base na nossa especificação de entrega.