Burn-in e aceite
Todo cluster passa pelos testes de validação de hardware da NVIDIA, HW-1 a HW-5, antes de o entregarmos. Você recebe os resultados em um relatório de aceite.
Os testes de burn-in de GPU são a forma como verificamos um cluster sob carga antes de você rodar qualquer coisa nele. Todo cluster da 1Legion passa pela validação de hardware da NVIDIA para provedores de inferência, testes HW-1 a HW-5, antes da entrega, e os resultados chegam a você em um relatório de aceite. Isso substitui um período de teste: você obtém evidências do hardware que vai de fato usar.
Os cinco testes de burn-in
O burn-in consiste em cinco testes, cada um voltado a uma parte diferente do cluster, e só entregamos um cluster quando ele passa nos cinco.
- HW-1
Throughput coletivo
Throughput NCCL de referência medido com nccl-tests, com operações coletivas aceleradas por SHARP onde o fabric oferece suporte.
nccl-tests - HW-2
Todos os rails de rede
Cada rail InfiniBand ou RoCE testado com ib_write_bw.
ib_write_bw - HW-3
GPUDirect e armazenamento
Smoke tests de GPUDirect RDMA e de armazenamento, incluindo leitura e gravação em NVMe.
GPUDirect RDMA, NVMe - HW-4
NVLink e NVSwitch
Número de links e largura de banda de NVLink e NVSwitch verificados com nvbandwidth.
nvbandwidth - HW-5
Teste contínuo de 24 horas
Um teste contínuo de 24 horas sob uma carga de inferência representativa, com um limite de potência constante.
carga de inferência com limite de potência
Juntos, eles cobrem os caminhos de que uma carga de trabalho distribuída depende: entre GPUs dentro de um servidor (HW-4), entre servidores pelo fabric (HW-1 e HW-2), o caminho de rede até a memória da GPU e o caminho de armazenamento (HW-3), e o cluster inteiro sob carga constante (HW-5). Os testes fazem parte da seção 15 da nossa especificação de entrega.
O que cada teste comprova
Cada teste verifica uma parte do hardware, e uma aprovação diz algo específico sobre o cluster que você vai usar.
HW-1: throughput NCCL
A NCCL (NVIDIA Collective Communications Library) é o software que as GPUs usam para trocar dados durante o treinamento e a inferência distribuídos, em operações como all-reduce. O HW-1 executa o nccl-tests, o benchmark da NVIDIA para a NCCL, em todo o cluster, com SHARP onde os switches oferecem suporte. O SHARP realiza parte de cada redução dentro dos próprios switches, de modo que menos dados precisam atravessar a rede.
A aprovação mostra que GPUs em servidores diferentes trocam dados com o throughput exigido pelo teste. Quando o throughput coletivo fica abaixo do necessário, cada etapa de um job distribuído espera pela rede.
HW-2: todos os rails do fabric
Em um fabric otimizado para rails, um rail é o conjunto de links que conecta as GPUs de uma mesma posição, em todos os servidores, aos seus próprios switches. O HW-2 executa o ib_write_bw, que mede a largura de banda de gravação RDMA entre duas portas, em cada rail InfiniBand ou RoCE do cluster.
A aprovação mostra que cada rail tem bom desempenho isoladamente, e não só o fabric na média. Isso importa porque uma operação coletiva roda na velocidade do seu link mais lento: um único cabo, transceptor ou porta com desempenho fraco pode deixar mais lentas todas as GPUs de um job.
HW-3: GPUDirect RDMA e armazenamento
O GPUDirect RDMA permite que uma placa de rede leia e grave diretamente na memória da GPU, sem copiar dados pela CPU e pela memória do sistema. O HW-3 executa smoke tests (verificações curtas de que um caminho funciona de ponta a ponta) no GPUDirect RDMA e no armazenamento, incluindo leitura e gravação em NVMe.
A aprovação mostra que os dados chegam às GPUs pelo caminho direto para o qual o cluster foi projetado e que o caminho de armazenamento lê e grava. Sem o GPUDirect RDMA, o tráfego recorre a uma rota mais lenta pela memória do host, e os jobs continuam rodando, só que mais devagar; por isso o caminho é testado separadamente.
HW-4: NVLink e NVSwitch
Dentro de cada servidor HGX, as oito GPUs se conectam entre si por NVLink e NVSwitch, um caminho muito mais rápido do que a rede entre servidores. O HW-4 usa o nvbandwidth, uma ferramenta da NVIDIA, para medir a largura de banda desses links e verifica o número de links: se todo link que deveria estar ativo está ativo.
A aprovação mostra que cada GPU está com todos os seus links NVLink ativos e que eles oferecem a largura de banda esperada pelo teste. Um link ausente não impede o servidor de funcionar; ele o deixa mais lento, e é por isso que o número de links é verificado.
HW-5: teste contínuo de 24 horas
O HW-5 executa uma carga de inferência representativa no cluster por 24 horas com um limite de potência constante (um limite fixo, mantido durante todo o teste). Falhas que um teste curto não detecta, como erros relacionados ao calor, problemas de alimentação e falhas intermitentes, tendem a aparecer ao longo de horas de carga constante.
A aprovação mostra que o hardware permanece estável durante um dia inteiro de carga constante e representativa.
O relatório de aceite
Os resultados do burn-in chegam a você em um relatório de aceite, para que você tenha as evidências quando o cluster passar a ser seu.
O relatório registra os resultados de HW-1 a HW-5 para o seu cluster. Guarde-o como sua linha de base. As ferramentas são públicas (nccl-tests, ib_write_bw e nvbandwidth), então, se você suspeitar de um problema mais tarde, seus engenheiros podem executar os mesmos testes e comparar.
O próprio hardware é registrado no nosso inventário de referência: cada rack, nó, GPU, NIC, disco, switch, porta, transceptor e cabo, com uma exportação legível por máquina para você. Após a entrega, o cluster é administrado sob nossos compromissos operacionais por escrito.
Quando um nó falha
Um nó que falha em um teste não entra em operação: ele é colocado em quarentena, reparado ou substituído e testado novamente.
Quarentena
O nó é retirado do cluster para não afetar os outros nós nem os resultados.
Reparo ou substituição
Encontramos e corrigimos a falha, ou substituímos a peça com defeito ou o nó inteiro.
Novo teste
O nó reparado ou substituto é testado novamente, e o cluster é entregue assim que passa no teste.
A mesma disciplina continua após a entrega. Colocamos imediatamente em quarentena as falhas fatais de GPU (XID 79, XID 48, erros ECC de bit duplo e falhas de remapeamento de linhas) e mantemos em quarentena qualquer nó suspeito de corrupção silenciosa de dados.
Por que o burn-in substitui um período de teste
Não oferecemos períodos de teste, demonstrações, provas de conceito nem aluguéis de curto prazo; em vez disso, oferecemos evidências do hardware que você vai de fato usar.
Um período de teste mostra como um servidor se comporta por pouco tempo, e geralmente não é o servidor que você vai acabar recebendo. Nossos contratos têm prazos de 36, 48 ou 60 meses para servidores inteiros, então o que você precisa saber é como o cluster que você recebe se comporta. O burn-in testa isso no seu próprio hardware, e o relatório de aceite registra os resultados por escrito.
Antes de você assinar, a especificação de entrega mostra o que você está contratando, e nossos engenheiros podem responder a perguntas sobre ela. Nossa página Como contratar percorre as etapas do contrato, da solicitação à entrega.
Perguntas que os compradores fazem
O que é o teste de burn-in de GPU?
É colocar servidores de GPU novos sob carga constante antes de entrarem em operação, para que as falhas de hardware apareçam antes das suas cargas de trabalho. Nosso burn-in é a validação de hardware da NVIDIA para provedores de inferência, testes HW-1 a HW-5.
Podemos fazer um período de teste ou uma prova de conceito antes?
Não. Não oferecemos períodos de teste, demonstrações, provas de conceito nem aluguéis de curto prazo. Todo cluster passa pelos testes HW-1 a HW-5 antes da entrega, e você recebe os resultados em um relatório de aceite.
O que é um teste NCCL?
Uma execução do nccl-tests, o benchmark da NVIDIA para a biblioteca NCCL, que mede a velocidade com que as GPUs trocam dados em operações coletivas como all-reduce. É o teste HW-1 do nosso burn-in.
Quais ferramentas os testes usam?
nccl-tests com SHARP onde houver suporte (HW-1), ib_write_bw em cada rail InfiniBand ou RoCE (HW-2), smoke tests de GPUDirect RDMA e de armazenamento, incluindo leitura e gravação em NVMe (HW-3), nvbandwidth para NVLink e NVSwitch (HW-4) e um teste contínuo de 24 horas sob carga de inferência representativa (HW-5).
O que acontece se um nó falhar em um teste?
O nó é colocado em quarentena, reparado ou substituído e testado novamente. Entregamos o cluster assim que ele é aprovado.
Conte o que você precisa rodar.
Informe o hardware, o número de servidores, o prazo e a data de início. Você recebe uma proposta por escrito baseada na nossa especificação de entrega.