Nossa especificação de entrega do HGX B300

A especificação define uma base, e sua proposta registra cada alteração em relação a ela como um desvio numerado. Cada item do documento é Obrigatório ou Desejável. Nesta página, os mínimos são escritos como “pelo menos” ou “mínimo”, e as opções preferidas são marcadas como “preferencial”.

A especificação define três clusters de referência, de 64, 128 e 288 nós de GPU, e cada tamanho inclui os nós de CPU, o plano de controle e o armazenamento correspondentes.

Todo tamanho de referência tem seis nós de plano de controle, e a especificação define o plano de controle em 6 nós para cada 2.304 GPUs. As duas linhas de armazenamento correspondem às duas opções de armazenamento descritas abaixo: capacidade utilizável para um appliance ou número de nós para nós de armazenamento.

Potência de planejamento

A carga de TI estimada é calculada a partir destes valores de planejamento:

Para o tamanho de 64 nós, são 64 nós de GPU com cerca de 14 kW cada, mais 24 nós de CPU, 6 nós de plano de controle, 9 nós de armazenamento e rede a 5 por cento da carga de GPU: cerca de 0,98 MW. Planejamos a potência da instalação a partir desses valores, e o máximo contratual de kW por rack é o número-chave que pedimos a uma instalação. Nossa página Data centers lista o restante do que pedimos.

Todo cluster tem seu próprio fabric leste-oeste para o tráfego entre GPUs e sua própria rede norte-sul, e na borda conta com trânsito redundante, filtragem de DDoS, NAT e endereços públicos dedicados.

Fabric leste-oeste

“Otimizado para rails” significa que a GPU em cada posição de todos os nós se conecta ao seu próprio conjunto de switches, o seu rail, o que mantém curtos os caminhos entre GPUs correspondentes. “Totalmente não bloqueante” significa que o fabric consegue transportar a largura de banda total de todas as GPUs ao mesmo tempo, sem sobreassinatura entre as camadas de switches.

Rede norte-sul

Sobreassinatura é a razão entre a largura de banda que um switch leaf oferece aos seus nós e a largura de banda dos seus uplinks. Os switches leaf de armazenamento não têm nenhuma, então leituras e gravações de checkpoints não são limitadas pelos uplinks, e os switches leaf de GPU ficam abaixo de 4:1. O RoCEv2 transporta RDMA sobre esta rede Ethernet, e um MTU de 9000 (jumbo frames) reduz o overhead por pacote em transferências grandes.

Borda e serviços de internet

• Trânsito e roteamento. Dois provedores independentes em caminhos fisicamente diversos fazem com que um cabo rompido ou a queda de um provedor não seja um ponto único de falha. O BFD detecta rapidamente um link com falha, e o eBGP faz o failover para o outro provedor em até um minuto.
• Roteadores de borda. Dois roteadores redundantes com alimentação A e B, para que a borda não dependa de um único roteador ou de um único circuito de alimentação.
• ACLs de borda. As listas de controle de acesso na borda seguem suas regras, e fazemos alterações em até um dia útil.
• Proteção contra DDoS. Ataques volumétricos nas camadas 3 e 4 são desviados via BGP para um provedor de filtragem consolidado. A filtragem é ativada em até 5 minutos, com pelo menos 1 Tb/s de capacidade.
• NAT e saída. O tráfego de saída passa por um par redundante que suporta pelo menos 10 milhões de sessões simultâneas, a partir de endereços SNAT usados só por você, para que parceiros possam incluir seu tráfego em listas de permissão.
• Endereços públicos de serviço. Normalmente oito endereços dedicados para os seus serviços. Você pode anunciar IPs virtuais via BGP, o failover acontece em até 5 segundos e o IPv6 funciona em dual stack.
• Seu espaço de IP e ASN. Se você tem seus próprios prefixos e ASN, a borda pode anunciá-los. Respeitamos suas autorizações de origem de rota (ROAs) RPKI, que informam às outras redes qual ASN pode originar seus prefixos, e as sessões BGP são autenticadas.
• Telemetria de rede. Os dois roteadores de borda enviam registros de fluxo NetFlow v9 ou IPFIX para o seu coletor, para que você veja seu próprio tráfego.

A especificação também cobre o que acontece em torno da entrega: um burn-in antes dela e compromissos operacionais por escrito depois dela.

Antes da entrega, todo cluster passa pela validação de hardware da NVIDIA para provedores de inferência, testes HW-1 a HW-5, e os resultados chegam a você em um relatório de aceite. Nossa página Burn-in e aceite explica o que cada teste comprova.

Após a entrega, a seção 15 da especificação define como operamos o cluster, começando por estes compromissos:

A lista completa, incluindo o inventário, a gestão de mudanças e o tratamento de falhas de hardware, está na nossa página Compromissos operacionais. A telemetria de hardware fora de banda vem do BMC via Redfish, com telemetria de rede e das instalações quando disponível. A telemetria operacional é mantida por pelo menos 30 dias, e o histórico de incidentes e de estados, por pelo menos 12 meses.

As fichas técnicas estão disponíveis em PDF, para que seus engenheiros e sua equipe de compras possam analisá-las e compartilhá-las.

• Ficha técnica do servidor NVIDIA HGX B300PDF. Nó de GPU, nós de CPU e de plano de controle, interfaces de rede. Baixar PDF
• Clusters de referência HGX B300: 64, 128 e 288 nósPDF. Tamanhos de cluster, armazenamento, fabric e rede de borda. Baixar PDF
• Requisitos para data centers parceiros, resumoPDF. Energia, refrigeração, evidências de certificação, equipe e conectividade. Baixar PDF
• Como funcionam os contratos da 1LegionPDF. Condições, onboarding, faturamento e o que está incluído. Baixar PDF

Todos os documentos que publicamos estão na nossa página Downloads. Para discutir uma configuração em relação a esta especificação, fale com um engenheiro.