NVIDIA HGX B300
Oito GPUs Blackwell Ultra com 270 GB de HBM3e cada uma e 800 Gb/s de rede por GPU, alugadas em servidores inteiros ou em clusters dedicados, construídos segundo nossa especificação de entrega publicada.
- GPUs por servidor
- 8
- Memória por GPU
- 270 GB HBM3e
- FP4 por servidor
- 108 PFLOPS densos
- Rede por GPU
- 800 Gb/s
Por dentro de um servidor HGX B300
O que você aluga, peça por peça.
-
Um servidor, um cliente
As GPUs, as CPUs, a memória, os drives e as portas de rede do chassi pertencem a um único cliente durante todo o prazo. Nada nele é compartilhado.
-
Oito GPUs Blackwell Ultra
Oito GPUs SXM em uma única placa-base, cada uma com 270 GB de HBM3e a 7,7 TB/s. São 2,1 TB de memória de GPU em um único servidor.
-
Um único domínio NVLink
O NVLink de quinta geração une as oito GPUs a 1,8 TB/s por GPU, 14,4 TB/s em todo o servidor, para que um modelo possa ocupar a placa inteira.
-
800 Gb/s por GPU
Cada GPU tem sua própria porta de 800 Gb/s para o fabric do cluster, preferencialmente NVIDIA ConnectX-8, em um fabric otimizado para rails que nenhum outro cliente usa.
-
Drives e ar
Pelo menos 9,2 TB de NVMe bruto para dados ficam na parte frontal, em um chassi refrigerado a ar construído segundo nossa especificação de entrega.
Especificações
| GPU | |
|---|---|
| Plataforma | NVIDIA HGX B300, 8 GPUs SXM em uma única placa-base |
| Arquitetura | NVIDIA Blackwell Ultra |
| Memória por GPU | 270 GB HBM3e (especificação do NVIDIA HGX B300) |
| Memória de GPU por servidor | 2,1 TB HBM3e (8 x 270 GB, conforme indicado pela NVIDIA) |
| Largura de banda de memória por GPU | 7,7 TB/s |
| FP4 Tensor, 8 GPUs | 144 PFLOPS esparsos, 108 PFLOPS densos |
| FP8 e FP6 Tensor, 8 GPUs | 72 PFLOPS esparsos |
| FP16 e BF16 Tensor, 8 GPUs | 36 PFLOPS esparsos |
| TF32 Tensor, 8 GPUs | 18 PFLOPS esparsos |
| FP32, 8 GPUs | 600 TFLOPS |
| FP64, 8 GPUs | 10 TFLOPS |
| NVLink | Quinta geração, 1,8 TB/s por GPU, 14,4 TB/s por servidor |
| PCIe | Gen6, 256 GB/s |
| Potência por GPU | Configurável, até 1.100 W |
| Multi-Instance GPU | Até 7 instâncias por GPU |
| Servidor conforme entregue | |
|---|---|
| CPU | Pelo menos 128 vCPUs |
| Memória do sistema | Preferencialmente 3 TB, pelo menos 1,92 TB (240 GB por GPU) |
| Armazenamento de boot | 2 x 1 TB NVMe, espelhados (preferencial) |
| Armazenamento local de dados | Pelo menos 9,2 TB de NVMe bruto |
| Refrigeração | Refrigerado a ar |
| Potência de planejamento | Cerca de 14 kW por servidor (premissa de trabalho) |
| Rede | |
|---|---|
| Rede de backend | 800 Gb/s por GPU (1 x 800, 2 x 400 ou 4 x 200 Gb/s), preferencialmente NVIDIA ConnectX-8 |
| Rede de frontend | NVIDIA BlueField-3, preferencialmente 2 x 400 Gb/s, no mínimo 2 x 200 Gb/s |
| Fabric leste-oeste | Otimizado para rails, totalmente não bloqueante, dedicado a um único cliente |
| Comutação do fabric | Preferencialmente NVIDIA Spectrum-X ou Broadcom Tomahawk 6; NVIDIA Quantum InfiniBand ou Tomahawk 5 aceitos |
| Norte-sul | Preferencialmente 400 Gb/s por nó, no mínimo 200 Gb/s, RoCEv2, MTU 9000 |
Cargas de trabalho típicas
- Pré-treinamento e pós-treinamento de modelos grandes
- Aprendizado por reforço e fine-tuning em escala de cluster
- Inferência para modelos de raciocínio e de mistura de especialistas com contextos longos
Alugue servidores NVIDIA HGX B300 como nós inteiros de 8 GPUs ou como um cluster em um fabric que nenhum outro cliente compartilha. Todo servidor é construído segundo nossa especificação de entrega publicada, passa por burn-in antes da entrega e é alugado com um contrato de 36, 48 ou 60 meses a um valor mensal fixo.
Para quem é o HGX B300
O HGX B300 é para equipes cujos modelos ultrapassaram 80 a 180 GB por GPU. Cada GPU tem 270 GB de HBM3e, 2,1 TB por servidor, então um modelo de 70B parâmetros em FP8 (cerca de 70 GB de pesos) deixa cerca de 200 GB livres em uma GPU para cache KV e batching.
Laboratórios de IA o alugam para execuções de pré-treinamento e pós-treinamento que duram semanas. Equipes de inferência o alugam para servir modelos de raciocínio e de mistura de especialistas com contextos longos. Ele é a linha principal da capacidade da 1Legion e o servidor em torno do qual foi escrita a nossa especificação de entrega do HGX B300.
Pontos fortes
A memória e a largura de banda por GPU distinguem o HGX B300.
A NVIDIA especifica cada GPU em 7,7 TB/s de largura de banda de memória, o teto da velocidade de decodificação para modelos grandes. A placa de 8 GPUs entrega 108 PFLOPS de FP4 denso (144 PFLOPS esparsos), contra 72 PFLOPS densos em um HGX B200, e 72 PFLOPS de FP8 esparso. O NVLink de quinta geração dá a cada GPU 1,8 TB/s para as outras sete, 14,4 TB/s em todo o servidor, e cada GPU tem sua própria porta de 800 Gb/s para o fabric do cluster.
A contrapartida é a precisão dupla. A NVIDIA especifica a placa em 10 TFLOPS de FP64, então o HGX B300 é um servidor para formatos numéricos de IA, não para simulação em FP64.
Configuração conforme entregue
A configuração vem da nossa especificação de entrega, 1LG-DEL-SPEC-2026-001. Tudo o que a sua proposta altera é listado como um desvio numerado, para que você veja onde os seus servidores diferem da linha de base publicada.
- CPU e memória: pelo menos 128 vCPUs e, preferencialmente, 3 TB de memória do sistema, nunca menos de 240 GB por GPU (1,92 TB).
- Armazenamento local: de preferência, um par espelhado de drives de boot NVMe de 1 TB, mais pelo menos 9,2 TB de NVMe bruto para dados, mais de quatro vezes a memória de GPU.
- Rede: 800 Gb/s por GPU no backend, preferencialmente com NVIDIA ConnectX-8, e um frontend NVIDIA BlueField-3, preferencialmente com 2 x 400 Gb/s e no mínimo 2 x 200 Gb/s.
- Refrigeração e energia: refrigerado a ar, como o OEM recomenda em escala de cluster. Planejamos cerca de 14 kW de potência por servidor.
Opções de cluster HGX B300
Um cluster da 1Legion é dedicado a um único cliente, até os switches. Nossos três tamanhos de referência usam o mesmo servidor:
| Item | 64 nós | 128 nós | 288 nós |
|---|---|---|---|
| Nós de GPU (8 GPUs cada) | 64 | 128 | 288 |
| GPUs | 512 | 1.024 | 2.304 |
| Nós de CPU | 24 | 48 | 108 |
| Nós de plano de controle | 6 | 6 | 6 |
| Armazenamento, opção de appliance (utilizável) | 512 TB | 1.024 TB | 2.304 TB |
| Armazenamento, opção de nós de armazenamento | 9 nós | 17 nós | 38 nós |
| Carga de TI estimada | cerca de 0,98 MW | cerca de 1,95 MW | cerca de 4,39 MW |
O fabric leste-oeste é otimizado para rails e totalmente não bloqueante, a 800 Gb/s por GPU, de preferência com NVIDIA Spectrum-X ou Broadcom Tomahawk 6. Os nós de CPU executam os serviços em torno das GPUs, e o armazenamento é um appliance gerenciado pelo fornecedor com pelo menos 1 TB utilizável por GPU ou nós de armazenamento para o seu próprio software. Nossa página de clusters de GPU dedicados trata do projeto e da entrega, e a de armazenamento e rede trata da borda, da proteção contra DDoS e do seu próprio espaço IP.
Como funciona o aluguel
A alocação do HGX B300 está aberta. Você aluga servidores inteiros, e todo preço vem em uma proposta por escrito.
Solicitação e proposta
Informe de quantos servidores você precisa, por quanto tempo e a partir de quando. Respondemos com perguntas ou com uma proposta por escrito.
Onboarding e contrato
A empresa que vai usar os servidores preenche três formulários de onboarding, assina um contrato de 36, 48 ou 60 meses e paga a entrada. Prazos mais longos têm valores menores.
Construção e burn-in
Construímos segundo a especificação de entrega e executamos os testes de validação de hardware HW-1 a HW-5 da NVIDIA. Os resultados vão para o seu relatório de aceite.
Operações
O faturamento é mensal, a um valor fixo durante todo o prazo, sem taxas de saída de dados. Você trabalha com nossos engenheiros em um canal compartilhado no Slack, com um responsável técnico designado para a conta, sob nossos compromissos operacionais.
A capacidade HGX B300 fica em Toronto, que está em operação, e em Delaware, nos Estados Unidos, que está entrando em operação. Alocações maiores podem exigir garantia de pagamento, como uma garantia bancária ou uma carta de crédito. Nossa página Como contratar explica cada etapa.
Cargas de trabalho e alternativas
Escolha o HGX B300 quando a memória por GPU ou a largura de banda GPU a GPU for o seu limite: execuções longas de pré-treinamento, pós-treinamento e aprendizado por reforço, e inferência para modelos que precisam de mais de 180 GB por GPU. Nossas páginas de treinamento de IA e inferência de IA tratam do restante da stack, e dois artigos fazem as contas: 8 x 270 GB: o que cabe em um nó B300 e B300 para laboratórios de modelos de IA.
Se o seu trabalho precisa de FP64 ou cabe em 180 GB por GPU, veja o HGX B200. Se você precisa de 72 GPUs em um único domínio NVLink, os racks GB300 NVL72 estão disponíveis mediante reserva.
Perguntas que os compradores fazem
Quantos servidores HGX B300 podemos alugar?
De um único servidor de 8 GPUs a um cluster dedicado. Nossos clusters de referência têm 64, 128 e 288 nós (de 512 a 2.304 GPUs), e o projeto escala além disso. Veja clusters de GPU dedicados.
Podemos testar um servidor HGX B300 antes de assinar?
Não oferecemos períodos de teste nem provas de conceito. Todo cluster passa nos testes de validação de hardware HW-1 a HW-5 da NVIDIA antes da entrega, e você recebe os resultados em um relatório de aceite. Veja burn-in e aceite.
Onde os servidores HGX B300 ficam hospedados?
Em Toronto, no Canadá, que está em operação, e em Delaware, nos Estados Unidos, que está entrando em operação. Sua proposta indica o local.
Quais prazos de contrato estão disponíveis?
36, 48 ou 60 meses, com valores menores para prazos mais longos. Você paga a entrada na assinatura e, depois, um valor mensal fixo durante todo o prazo, sem taxas de saída de dados.
O HGX B300 é uma boa opção para simulação em FP64?
Não. A NVIDIA especifica um HGX B300 de 8 GPUs em 10 TFLOPS de FP64, contra 296 TFLOPS de um HGX B200. Para trabalhos com uso intenso de FP64, veja o HGX B200.
Vocês podem operar Kubernetes ou Slurm no nosso cluster?
Sim, como opção. Instalamos, operamos, atualizamos e monitoramos o Kubernetes com o NVIDIA GPU Operator e o Network Operator, ou o Slurm gerenciado, com preço cobrado além do aluguel e definido na sua proposta. Veja Kubernetes gerenciado.
Alugue servidores B300 com prazos de 36 a 60 meses.
Informe o hardware, o número de servidores, o prazo e a data de início. Você recebe uma proposta por escrito baseada na nossa especificação de entrega.