Servidores de GPU NVIDIA dedicados

Alugamos servidores de GPU dedicados inteiros, com prazos longos, e todo preço vem em uma proposta por escrito antes de você assinar.

Bare metal vs. infraestrutura de GPU compartilhada explica o que o hardware dedicado muda em produção.

O catálogo se divide em quatro grupos, conforme a finalidade do hardware: treinamento, sistemas em escala de rack, inferência, e gráficos e mídia.

Servidores A100 80GB SXM, com oito GPUs em uma placa HGX, também estão disponíveis sob consulta.

Treinamento: HGX B300 e HGX B200

O HGX B300 é a nossa linha principal: oito GPUs Blackwell Ultra com 270 GB de HBM3e cada, 2,1 TB por servidor, ligadas por NVLink de quinta geração a 1,8 TB/s por GPU. Nossos clusters de GPU de referência são construídos com ele, em um fabric de 800 Gb/s por GPU. O HGX B200 tem 180 GB de HBM3e por GPU, 1.440 GB por servidor, e mantém muito mais precisão dupla: a NVIDIA indica 296 TFLOPS de FP64 por placa de 8 GPUs, contra 10 TFLOPS do HGX B300. Escolha o B200 quando simulação ou outro trabalho em FP64 dividir o cluster com IA. 8 x 270GB: o que cabe em um nó B300 analisa modelos de 405B e 70B.

Mediante reserva: GB300 NVL72 e Vera Rubin

O GB300 NVL72 é um rack com refrigeração líquida de 72 GPUs Blackwell Ultra e 36 CPUs Grace em um único domínio NVLink, com 20 TB de HBM3e e 130 TB/s de largura de banda NVLink total, segundo os números da NVIDIA. A Vera Rubin é a próxima plataforma da NVIDIA, com 288 GB de HBM4 por GPU Rubin, e temos servidores Rubin encomendados. Os dois estão disponíveis mediante reserva. Nossos requisitos para as instalações incluem um caminho de evolução para refrigeração líquida direct-to-chip para o GB300 NVL72 e sistemas posteriores.

Inferência: RTX PRO 6000 Blackwell e L40S

Os servidores RTX PRO 6000 Blackwell têm oito GPUs com 96 GB de GDDR7 cada, 768 GB por servidor, hospedados em Montreal. Os servidores L40S têm oito GPUs com 48 GB de GDDR6 cada. Nenhuma das duas placas tem NVLink, então as GPUs trocam dados via PCIe: esses servidores são adequados a modelos em que cada réplica cabe em uma GPU ou em poucas, como um modelo de 70B em FP8 em uma única placa de 96 GB. 8 x 96GB: o que cabe em um nó RTX PRO 6000 Blackwell faz as contas de memória.

Gráficos e mídia: placas GeForce e RTX para workstation

Os servidores RTX 5090 (32 GB), RTX 4090 (24 GB) e RTX A6000 (48 GB) têm oito GPUs; os servidores RTX 4000 Ada (20 GB) e RTX A4000 (16 GB) têm quatro.

Cada servidor tem um de três rótulos, que indicam a situação atual do seu hardware.

Quatro perguntas restringem a escolha: de quanta memória cada GPU precisa, como as GPUs se comunicam entre si, quantos servidores o job abrange e qual é a carga de trabalho.

Memória por GPU

A memória decide o que cabe. Os pesos, mais o cache KV na inferência ou o estado do otimizador e as ativações no treinamento, precisam ficar na memória da GPU, e um modelo de 70B parâmetros em FP8 precisa de cerca de 70 GB só para os pesos. 70GB de pesos, quatro GPUs mostra o que cada tamanho de memória deixa para o cache KV.

Interconexão

Quando um modelo é dividido entre GPUs, a largura de banda GPU a GPU dita o ritmo. Os servidores HGX B300 e B200 dão a cada GPU 1,8 TB/s de NVLink, e o GB300 NVL72 reúne 72 GPUs em um único domínio NVLink, enquanto os servidores PCIe dependem do barramento PCIe: 64 GB/s na L40S. Entre servidores, os clusters HGX B300 usam um fabric otimizado para rails, totalmente não bloqueante, de 800 Gb/s por GPU.

Tamanho do cluster

Acima de um servidor, nossos clusters de referência têm 64, 128 ou 288 nós HGX B300, até 2.304 GPUs em um único fabric dedicado, e o projeto vai além disso. Veja clusters de GPU e a especificação de entrega.

Carga de trabalho