NVIDIA HGX B200

O HGX B200 é adequado a equipes que querem a Blackwell para treinamento e inferência e ainda executam trabalhos de precisão dupla. Cada GPU tem 180 GB de HBM3e, 1.440 GB por servidor, então um modelo de 70B parâmetros em FP8 (cerca de 70 GB de pesos) cabe em uma GPU com cerca de 110 GB livres para cache KV e batching.

Grupos de pesquisa e equipes de IA que executam simulação ao lado do treinamento de modelos têm os dois em uma única plataforma. Equipes que precisam do máximo de memória por GPU devem compará-lo com o HGX B300, que tem 270 GB.

A ficha técnica da Blackwell da NVIDIA indica 7,7 TB/s de largura de banda de memória por GPU. Cada GPU é configurável até 1.000 W, e a NVIDIA especifica o seu próprio sistema DGX B200 em cerca de 14,3 kW, um valor útil para o planejamento da instalação.

Os servidores HGX B200 são configurados de acordo com seus requisitos e confirmados na sua proposta: CPU, memória do sistema, NVMe local, adaptadores de rede e refrigeração. O projeto de referência DGX B200 da NVIDIA dá a cada GPU um adaptador ConnectX-7 de até 400 Gb/s, e dimensionamos a rede de backend para o cluster que você planeja. Todo servidor passa por burn-in antes da entrega, e você recebe os resultados em um relatório de aceite, como descrito na nossa página Burn-in e aceite.

Você pode alugar o HGX B200 como servidores individuais ou como um cluster em um único fabric dedicado a você. O cluster é projetado com você, do fabric leste-oeste aos nós de CPU e ao armazenamento, e definido na sua proposta.

Nossos projetos de referência publicados para o HGX B300 mostram a abordagem: um fabric otimizado para rails, totalmente não bloqueante, que nenhum outro cliente compartilha, nós de CPU para os serviços em torno das GPUs e armazenamento dimensionado por GPU. Nossa página de clusters de GPU dedicados explica como um cluster é construído e entregue, e a de Kubernetes gerenciado trata da orquestração, se você quiser deixá-la conosco.

A alocação do HGX B200 está aberta. Você aluga servidores inteiros de 8 GPUs com um contrato de 36, 48 ou 60 meses, e prazos mais longos têm valores menores.

Antes de assinar, a empresa que vai usar os servidores preenche três formulários de onboarding. Você paga a entrada na assinatura e, depois, um valor mensal fixo durante todo o prazo, sem taxas de saída de dados. Alocações maiores podem exigir garantia de pagamento, como uma garantia bancária ou uma carta de crédito. Não oferecemos períodos de teste: o burn-in e o relatório de aceite ocupam o lugar deles. Sua proposta indica o local entre as nossas localizações de data center, e nossa página Como contratar percorre cada etapa.

O HGX B200 é adequado a treinamento e fine-tuning que cabem em 180 GB por GPU, a inferência em FP4, FP8 ou INT8 e a computação científica que precisa de FP64 ao lado de IA. Nossa página de treinamento de IA trata de armazenamento, tratamento de falhas e prazos para roadmaps de treinamento. Para entender o raciocínio por trás do dimensionamento, leia gargalos no treinamento de modelos de fundação e por que execuções longas de treinamento falham em nuvem compartilhada.

Se a memória por GPU for o limite, o HGX B300 oferece 270 GB por GPU e 108 PFLOPS de FP4 denso por servidor. Se o seu código for ajustado para a Ampere, a A100 80GB está disponível sob consulta.