NVIDIA GB300 NVL72

O GB300 NVL72 é para modelos que precisam de mais de oito GPUs se comunicando na velocidade do NVLink. Em um servidor de 8 GPUs, o tráfego entre servidores passa pela rede a 800 Gb/s por GPU. Em um rack GB300 NVL72, todas as 72 GPUs compartilham um único domínio NVLink a 1,8 TB/s por GPU e 130 TB/s no total.

Isso importa para modelos de mistura de especialistas que distribuem os especialistas por muitas GPUs, para grandes grupos de paralelismo de tensor no treinamento e para modelos de raciocínio que servem contextos longos a muitos usuários ao mesmo tempo. A NVIDIA também posiciona o rack para geração de vídeo baseada em difusão.

Assim como o HGX B300, o GB300 NVL72 é feito para os formatos numéricos de IA: a NVIDIA especifica o rack inteiro em 100 TFLOPS de FP64.

O GB300 NVL72 é alugado como um rack completo, configurado de acordo com seus requisitos e confirmado na sua proposta. A NVIDIA o projeta como um sistema inteiramente refrigerado a líquido, por isso só o colocamos em uma instalação com refrigeração líquida direct-to-chip que atenda aos nossos requisitos de data center: um máximo contratual de kW por rack, caminhos de alimentação duplos A e B para cada rack e manutenibilidade concorrente em energia e refrigeração.

A NVIDIA não publica um valor de potência por rack para o GB300 NVL72, por isso esse valor é confirmado para o sistema escolhido antes da instalação. Nossa página de data centers explica como escolhemos as instalações.

O GB300 NVL72 está disponível mediante reserva: você reserva racks antes da implantação. Não publicamos datas de entrega; o cronograma dos seus racks é acordado por escrito.

1. Solicitação e proposta

   Informe de quantos racks você precisa e para quando. Nossa proposta por escrito define a configuração, o preço e o cronograma de entrega.

2. Onboarding e contrato

   A empresa que vai usar os racks preenche três formulários de onboarding, depois assina um contrato de 36, 48 ou 60 meses e paga a entrada. Alocações deste porte podem exigir garantia de pagamento, como uma garantia bancária ou uma carta de crédito.

3. Burn-in e entrega

   Cada rack passa por burn-in antes da entrega, e você recebe os resultados em um relatório de aceite. O faturamento é mensal, a um valor fixo durante todo o prazo, sem taxas de saída de dados.

Prazos mais longos têm valores menores. Nossa página Como contratar detalha os formulários e a estrutura de pagamento.

O GB300 NVL72 é adequado a inferência em escala de rack para modelos de raciocínio e de mistura de especialistas, e a treinamento em que o paralelismo de modelo abrange mais de um servidor de 8 GPUs. Nossas páginas de treinamento de IA e inferência de IA tratam da infraestrutura ao redor. Gargalos no treinamento de modelos de fundação explica por que a interconexão define o limite quando um modelo é dividido, e 8 x 270 GB: o que cabe em um nó B300 mostra onde uma única GPU para.

Se você precisa de capacidade antes, a alocação do HGX B300 está aberta, com clusters de 64 a 288 nós em um fabric dedicado, descritos na nossa página de clusters de GPU. Para a geração posterior à Blackwell Ultra, veja NVIDIA Vera Rubin, também mediante reserva.