NVIDIA A100 80GB

A A100 80GB é para equipes cujo código de treinamento e inferência foi construído e validado na arquitetura Ampere e que querem oito GPUs ligadas por NVLink com 80 GB cada. Permanecer na A100 evita validar novamente kernels, comportamento numérico e pipelines em uma nova arquitetura no meio de um programa.

Ela também é adequada a trabalhos de precisão dupla. A NVIDIA especifica o throughput de FP64 Tensor Core em 19,5 TFLOPS por GPU, e a placa HGX A100 de 8 GPUs em 156 TFLOPS de FP64.

As especificações da A100 publicadas pela NVIDIA listam suporte de Tensor Core para TF32, BF16, FP16 e INT8, além de FP64; FP8 e FP4 não estão entre eles. Cada GPU tem TDP de 400 W na configuração padrão, e a NVIDIA observa que a solução térmica personalizada da HGX A100 80GB suporta até 500 W.

Os servidores A100 são construídos em torno da placa HGX A100 de 8 GPUs da NVIDIA. Todo o resto, de CPU, memória do sistema e NVMe local até a rede, é configurado de acordo com seus requisitos e confirmado na sua proposta.

Todo servidor passa por burn-in antes da entrega, com os resultados em um relatório de aceite. Se você pretende usar servidores A100 em grupo, informe isso na sua solicitação para que a proposta cubra a rede entre eles, e veja nossa página de clusters de GPU para saber como construímos fabrics dedicados.

Os servidores A100 80GB estão disponíveis sob consulta. Informe de quantos servidores você precisa, por quanto tempo e a partir de quando, e confirmamos a configuração e o cronograma de entrega em uma proposta por escrito.

Os contratos são de 36, 48 ou 60 meses, com valores menores para prazos mais longos. A empresa que vai usar os servidores preenche três formulários de onboarding antes de assinar. Você paga a entrada na assinatura e, depois, um valor mensal fixo durante todo o prazo, sem taxas de saída de dados. Não oferecemos períodos de teste; o burn-in e o relatório de aceite ocupam o lugar deles, como explicam nossas páginas Burn-in e aceite e Como contratar.

A A100 80GB é adequada a treinamento e fine-tuning que cabem em 80 GB por GPU e 640 GB por servidor, a inferência dividida em instâncias MIG e a simulação em FP64. Nossa página de treinamento de IA trata do armazenamento de checkpoints e do tratamento de falhas em execuções longas.

O treinamento completo em precisão mista com o otimizador Adam precisa de cerca de 16 a 20 bytes por parâmetro, antes das ativações. Assim, um servidor de 640 GB comporta o estado de treinamento de um modelo de aproximadamente 32B a 40B parâmetros; modelos maiores são fragmentados entre servidores, e a rede entre eles passa a fazer parte da sua proposta.

Para o dimensionamento, 70 GB de pesos, quatro GPUs mostra quão pouco uma GPU de 80 GB deixa para o cache KV depois que 70 GB de pesos são carregados, e gargalos no treinamento de modelos de fundação explica por que a largura de banda de memória e o NVLink definem o throughput de treinamento.

Para novos projetos, o HGX B200 traz 180 GB por GPU, FP8 e FP4, e 37 TFLOPS de FP64 por GPU, e o HGX B300 traz 270 GB por GPU.