Clusters de GPU dedicados
Clusters HGX B300 de 64, 128 ou 288 nós, construídos segundo nossa especificação de entrega publicada, submetidos a burn-in antes da entrega e operados em um fabric que nenhum outro cliente usa.
Um cluster de GPU da 1Legion é um sistema NVIDIA HGX B300 completo, dedicado a um único cliente: servidores de GPU, nós de CPU, plano de controle, armazenamento, um fabric leste-oeste não bloqueante, a rede norte-sul e a borda de internet. Construímos o cluster segundo nossa especificação de entrega publicada, fazemos o burn-in com os testes de validação de hardware da NVIDIA e o operamos durante todo o prazo de 36 a 60 meses.
O que inclui um cluster de IA dedicado
Cada camada do cluster atende a um único cliente, das GPUs à rede norte-sul, e cada camada é especificada por escrito antes de você assinar.
| Nó | Função | Especificação |
|---|---|---|
| Nó de GPU | Executa seu treinamento e sua inferência | NVIDIA HGX B300, 8 GPUs com 270 GB de HBM3e cada; pelo menos 128 vCPUs; preferencialmente 3 TB de memória do sistema, pelo menos 1,92 TB; pelo menos 9,2 TB de NVMe local bruto; 800 Gb/s por GPU com NVIDIA ConnectX-8 (desejável); frontend NVIDIA BlueField-3 com 2 x 400 Gb/s (desejável); refrigerado a ar por recomendação do OEM |
| Nó de CPU | Executa os serviços em torno das GPUs: serving, roteamento e jobs em lote | x86, pelo menos 128 vCPUs com clock base acima de 3 GHz, preferencialmente AMD EPYC 9565 ou 9575F; 4 GB de memória por thread; frontend BlueField-3 |
| Nó de plano de controle | O plano de controle do cluster | 32 vCPUs acima de 3,65 GHz, preferencialmente AMD EPYC 9175F; 128 GB de memória; seis nós para cada 2.304 GPUs, distribuídos em dois racks |
Os nós de CPU são dimensionados pela quantidade de GPUs: pelo menos 6 threads de hardware e 24 GB de memória para cada GPU do cluster. B300 para laboratórios de modelos de IA descreve o que o treinamento sustentado exige de cada camada.
Configurações de referência de clusters HGX B300
Três tamanhos de referência definem quantos nós de CPU, nós de plano de controle, armazenamento e megawatts acompanham um dado número de nós de GPU.
| Item | 64 nós | 128 nós | 288 nós |
|---|---|---|---|
| Nós de GPU (8 GPUs cada) | 64 | 128 | 288 |
| GPUs | 512 | 1.024 | 2.304 |
| Nós de CPU | 24 | 48 | 108 |
| Nós de plano de controle | 6 | 6 | 6 |
| Armazenamento, opção de appliance (utilizável) | 512 TB | 1.024 TB | 2.304 TB |
| Armazenamento, opção de nós de armazenamento | 9 nós | 17 nós | 38 nós |
| Carga de TI estimada | cerca de 0,98 MW | cerca de 1,95 MW | cerca de 4,39 MW |
As proporções se mantêm em todos os tamanhos. Com 24, 48 e 108 nós de CPU de 128 vCPUs, cada GPU recebe 6 threads de hardware. O appliance de armazenamento oferece pelo menos 1 TB utilizável por GPU. Seis nós de plano de controle atendem aos três tamanhos, porque a especificação define seis para cada 2.304 GPUs. No total, os três tamanhos somam cerca de 138 TB, 276 TB e 622 TB de HBM3e e cabem em 1 MW, 2 MW e 4,4 MW de carga de TI.
Tamanhos maiores sob encomenda
Os tamanhos de referência param em 288 nós; o projeto, não. A especificação dimensiona cada camada por GPU: 800 Gb/s de fabric, 6 threads de CPU e 24 GB de memória de CPU, e 1 TB de armazenamento utilizável. Um cluster maior mantém essas proporções, e a sua proposta define o projeto, o local e a energia. Os clusters HGX B300 operam hoje em Toronto, e a capacidade em Delaware, nos Estados Unidos, está entrando em operação.
O fabric leste-oeste: Ethernet ou InfiniBand
Cada GPU tem seus próprios 800 Gb/s em um fabric otimizado para rails, totalmente não bloqueante, que transporta apenas o seu tráfego.
- Largura de banda: planos de 1 x 800 Gb/s ou 2 x 400 Gb/s por GPU, 6,4 Tb/s por servidor, preferencialmente com NICs NVIDIA ConnectX-8.
- Otimizado para rails: a NIC da GPU 1 de cada servidor se conecta ao rail 1, a da GPU 2 ao rail 2, e assim por diante.
- Não bloqueante: sem sobreassinatura no fabric, para que todas as GPUs possam transmitir à taxa máxima ao mesmo tempo.
- Comutação: preferencialmente NVIDIA Spectrum-X ou Broadcom Tomahawk 6; NVIDIA Quantum InfiniBand ou Tomahawk 5 são aceitos.
- Testado antes da entrega: throughput da NCCL com o nccl-tests, com SHARP onde houver suporte (HW-1), e cada rail InfiniBand ou RoCE com o ib_write_bw (HW-2).
Gargalos no treinamento de modelos de fundação explica por que a largura de banda da interconexão e da memória, mais do que a quantidade de GPUs, define o throughput de treinamento.
Armazenamento, norte-sul e a borda
O armazenamento e as redes ao redor do fabric são especificados por GPU e por nó, no mesmo documento das GPUs.
- Armazenamento, opção A: um appliance gerenciado pelo fornecedor, da VAST Data, WEKA ou DDN, com pelo menos 1 TB utilizável por GPU, escalonamento 24/7 para o fornecedor e throughput e latência contratados por camada.
- Armazenamento, opção B: nós de armazenamento para o seu próprio software de armazenamento, com pelo menos 3 TB brutos por GPU em drives NVMe PCIe 5.0 de 30,72 TB, no mínimo 9 nós.
- Norte-sul: preferencialmente 400 Gb/s por nó, 200 Gb/s no mínimo; sem sobreassinatura nos switches leaf de armazenamento e abaixo de 4:1 nos switches leaf de GPU; RoCEv2 e MTU 9000.
- Borda: dois provedores de trânsito independentes com 100 Gb/s por circuito, eBGP com BFD e filtragem de DDoS ativada via BGP em até 5 minutos.
NAT, endereços públicos, seu próprio espaço IP e ASN e telemetria de fluxos são tratados em armazenamento e rede.
Planejamento de potência para um cluster de GPU
Planeje cerca de 14 kW por nó de GPU: somando nós de CPU, plano de controle, nós de armazenamento e rede, um cluster de 64 nós precisa de cerca de 0,98 MW de carga de TI.
| Cluster de 64 nós | Quantidade | Valor de planejamento | Carga |
|---|---|---|---|
| Nós de GPU | 64 | cerca de 14 kW cada | 896 kW |
| Nós de CPU | 24 | 1,0 kW cada | 24 kW |
| Nós de plano de controle | 6 | 0,5 kW cada | 3 kW |
| Nós de armazenamento, opção B | 9 | 1,3 kW cada | 11,7 kW |
| Rede | 5 por cento da carga de GPU | 44,8 kW | |
| Total | cerca de 0,98 MW |
O mesmo método dá cerca de 1,95 MW para 128 nós e 4,39 MW para 288. O valor de 14 kW é uma premissa de trabalho para um nó HGX B300 refrigerado a ar; a NVIDIA indica cerca de 14 kW para o seu próprio sistema DGX B300. A instalação precisa se comprometer com um máximo contratual de kW por rack, e esse número define quantos nós de GPU dividem um rack. Data centers lista o que mais exigimos de um local.
Como um cluster é entregue
Um cluster passa da proposta à produção em cinco etapas, e o relatório de aceite marca a fronteira entre construí-lo e operá-lo.
Proposta
Enviamos uma proposta por escrito com base na especificação de entrega. Cada item é marcado como Obrigatório ou Desejável, e qualquer alteração de que você precise é listada como um desvio numerado.
Contrato e onboarding
A empresa que vai usar o cluster preenche três formulários de onboarding, assina o contrato de locação e paga a entrada. Alocações maiores podem exigir uma garantia bancária ou uma carta de crédito.
Construção
Instalamos os servidores nos racks, construímos o fabric, a rede norte-sul e a borda e registramos cada rack, nó, GPU, NIC, drive, switch, porta, transceptor e cabo em um inventário de referência.
Burn-in
O cluster passa nos testes de validação de hardware HW-1 a HW-5 da NVIDIA: throughput da NCCL, cada rail do fabric, GPUDirect RDMA e armazenamento, NVLink e NVSwitch, e um teste contínuo de 24 horas com um limite de potência constante.
Entrega e operações
Você recebe o relatório de aceite com todos os resultados. Depois, operamos o cluster sob nossos compromissos operacionais, com um canal compartilhado no Slack e um responsável técnico designado para a conta.
Burn-in e aceite descreve cada teste e o que acontece quando um nó é reprovado em algum deles.
Perguntas que os compradores fazem
O fabric é InfiniBand ou Ethernet?
Nossa especificação de entrega prefere Ethernet com NVIDIA Spectrum-X ou Broadcom Tomahawk 6 e aceita NVIDIA Quantum InfiniBand ou Tomahawk 5. Em qualquer caso, o fabric é otimizado para rails, totalmente não bloqueante e de 800 Gb/s por GPU.
O cluster é compartilhado com outros clientes?
Não. Os servidores de GPU, o fabric leste-oeste e a rede norte-sul são dedicados a um único cliente.
De quanta potência um cluster de GPU precisa?
Cerca de 0,98 MW de carga de TI para 64 nós, 1,95 MW para 128 e 4,39 MW para 288, com planejamento de cerca de 14 kW por nó de GPU.
Os nós de GPU são refrigerados a ar ou a líquido?
Os nós HGX B300 são refrigerados a ar, por recomendação do OEM em escala de cluster. O GB300 NVL72, disponível mediante reserva, tem refrigeração líquida.
Temos acesso aos resultados do burn-in?
Sim. Todo cluster passa nos testes de validação de hardware HW-1 a HW-5 da NVIDIA antes da entrega, e os resultados chegam a você em um relatório de aceite. Veja burn-in e aceite.
Um cluster pode ter mais de 288 nós?
Sim. A especificação dimensiona cada camada por GPU, então um cluster maior mantém as mesmas proporções. Sua proposta define o projeto, o local e a energia.
Conte o que você precisa rodar.
Informe o hardware, o número de servidores, o prazo e a data de início. Você recebe uma proposta por escrito baseada na nossa especificação de entrega.