NVIDIA A100 80GB
Ocho GPU A100 80GB SXM en una placa HGX A100, conectadas mediante NVLink y NVSwitch, con 640 GB de HBM2e por servidor, para equipos cuyo código de entrenamiento, inferencia y FP64 está desarrollado sobre Ampere.
- GPU por servidor
- 8
- Memoria por GPU
- 80 GB HBM2e
- Ancho de banda de memoria
- 2.039 GB/s
- NVLink por GPU
- 600 GB/s
Especificaciones
| GPU | |
|---|---|
| GPU | NVIDIA A100 80GB, formato SXM |
| Arquitectura | NVIDIA Ampere |
| Memoria | 80 GB HBM2e |
| Ancho de banda de memoria | 2.039 GB/s |
| FP64 | 9,7 TFLOPS |
| FP64 Tensor Core | 19,5 TFLOPS |
| FP32 | 19,5 TFLOPS |
| TF32 Tensor Core | 156 TFLOPS densos, 312 TFLOPS con dispersión |
| BF16 Tensor Core | 312 TFLOPS densos, 624 TFLOPS con dispersión |
| FP16 Tensor Core | 312 TFLOPS densos, 624 TFLOPS con dispersión |
| INT8 Tensor Core | 624 TOPS densos, 1.248 TOPS con dispersión |
| Multi-Instance GPU | Hasta 7 instancias de 10 GB |
| Interconexión | NVLink 600 GB/s; PCIe Gen4 64 GB/s |
| TDP máximo | 400 W (configuración estándar) |
| Servidor tal como se entrega | |
|---|---|
| Plataforma | NVIDIA HGX A100, 8 GPU |
| Memoria de GPU por servidor | 640 GB (8 x 80 GB) |
| De GPU a GPU | NVSwitch de segunda generación, NVLink de tercera generación, 600 GB/s por GPU, 4,8 TB/s en total |
| FP64, 8 GPU | 156 TFLOPS |
| CPU, memoria del sistema y almacenamiento | Según sus requisitos, con confirmación en su propuesta |
| Redes | |
|---|---|
| Red de backend y de frontend | Según sus requisitos, con confirmación en su propuesta |
Cargas de trabajo habituales
- Entrenamiento y ajuste fino con código desarrollado para Ampere
- Inferencia con particiones MIG
- Computación científica y simulación en FP64
Alquile servidores NVIDIA HGX A100 dedicados con ocho GPU A100 80GB SXM, conectadas mediante NVLink y NVSwitch. Los servidores A100 están disponibles bajo petición, configurados según sus requisitos, con contratos de 36, 48 o 60 meses.
Para quién es la A100 80GB
La A100 80GB está pensada para equipos cuyo código de entrenamiento e inferencia se ha desarrollado y validado sobre la arquitectura Ampere y que quieren ocho GPU conectadas por NVLink con 80 GB cada una. Seguir con A100 evita tener que volver a validar kernels, comportamiento numérico y pipelines en una arquitectura nueva a mitad de un programa.
También es adecuada para trabajo de doble precisión. NVIDIA cifra el rendimiento FP64 con Tensor Cores en 19,5 TFLOPS por GPU, y la placa HGX A100 de 8 GPU en 156 TFLOPS de FP64.
Sus puntos fuertes
NVLink y NVSwitch
En la placa HGX A100, el NVSwitch de segunda generación ofrece a cada GPU 600 GB/s de ancho de banda NVLink de tercera generación, 4,8 TB/s en total.
80 GB de HBM2e
80 GB por GPU a 2.039 GB/s, que NVIDIA describe como más de 2 TB/s, y 640 GB por servidor.
Formatos de Tensor Core
156 TFLOPS de TF32 denso, 312 TFLOPS de BF16 o FP16 denso y 624 TOPS de INT8 denso por GPU, cifras que se duplican con dispersión.
Multi-Instance GPU
Cada GPU se divide en hasta siete instancias de 10 GB, para trabajos de inferencia y desarrollo que no necesitan una GPU completa.
Las especificaciones de la A100 de NVIDIA indican compatibilidad de los Tensor Cores con TF32, BF16, FP16 e INT8, además de FP64; FP8 y FP4 no figuran entre ellos. Cada GPU tiene un TDP de 400 W en la configuración estándar, y NVIDIA señala que la solución térmica personalizada de HGX A100 80GB admite hasta 500 W.
Configuración de entrega
Los servidores A100 se construyen en torno a la placa HGX A100 de 8 GPU de NVIDIA. Todo lo demás, de la CPU, la memoria del sistema y el NVMe local a la red, se configura según sus requisitos y se confirma en su propuesta.
Cada servidor se somete a burn-in antes de la entrega, con los resultados en un informe de aceptación. Si tiene previsto utilizar los servidores A100 como grupo, indíquelo en su solicitud para que la propuesta incluya la red entre ellos, y consulte nuestra página clústeres de GPU para ver cómo construimos fabrics dedicados.
Cómo funciona el alquiler
Los servidores A100 80GB están disponibles bajo petición. Indíquenos cuántos servidores necesita, durante cuánto tiempo y a partir de cuándo, y le confirmaremos la configuración y el calendario de entrega en una propuesta por escrito.
Los contratos duran 36, 48 o 60 meses, con tarifas más bajas para los contratos más largos. La empresa que utilizará los servidores rellena tres formularios de alta antes de firmar. Usted abona un pago inicial a la firma y después una única tarifa mensual fija durante todo el contrato, sin cargos por salida de datos. No ofrecemos periodos de prueba; el burn-in y el informe de aceptación ocupan su lugar, como explican nuestras páginas burn-in y aceptación y cómo contratar.
Cargas de trabajo y alternativas
La A100 80GB se adapta al entrenamiento y el ajuste fino que no superan los 80 GB por GPU ni los 640 GB por servidor, a la inferencia dividida en instancias MIG y a la simulación FP64. Nuestra página entrenamiento de IA trata el almacenamiento de checkpoints y la gestión de fallos en ejecuciones largas.
El entrenamiento completo en precisión mixta con el optimizador Adam necesita entre 16 y 20 bytes por parámetro aproximadamente, sin contar las activaciones. Por tanto, un servidor de 640 GB aloja el estado de entrenamiento de un modelo de entre 32B y 40B parámetros aproximadamente; los modelos más grandes se fragmentan entre varios servidores, por lo que la red entre ellos pasa a formar parte de su propuesta.
Para el dimensionamiento, 70 GB de pesos, cuatro GPU muestra lo poco que deja una GPU de 80 GB para la caché KV una vez cargados 70 GB de pesos, y cuellos de botella en el entrenamiento de modelos fundacionales explica por qué el ancho de banda de memoria y NVLink determinan el rendimiento del entrenamiento.
Para proyectos nuevos, el HGX B200 aporta 180 GB por GPU, FP8 y FP4, y 37 TFLOPS de FP64 por GPU, y el HGX B300 aporta 270 GB por GPU.
Lo que preguntan los compradores
¿Por qué alquilar A100 si Blackwell está disponible?
¿Admite la A100 FP8 o FP4?
No. Las especificaciones de la A100 de NVIDIA indican compatibilidad de los Tensor Cores con TF32, BF16, FP16 e INT8, además de FP64. FP8 y FP4 llegan con arquitecturas posteriores, como Blackwell.
¿Cómo se conectan las ocho GPU?
Mediante NVIDIA NVSwitch en la placa HGX A100. Cada GPU dispone de 600 GB/s de ancho de banda NVLink de tercera generación hacia las demás, 4,8 TB/s en total, según NVIDIA.
¿Se puede compartir una A100 entre varias cargas de trabajo?
Sí. Multi-Instance GPU divide cada A100 80GB en hasta siete instancias de 10 GB, de modo que los trabajos pequeños de inferencia o desarrollo no necesitan una GPU completa.
¿Qué duraciones de contrato hay disponibles?
36, 48 o 60 meses, con tarifas más bajas para los contratos más largos. Usted abona un pago inicial a la firma y después una única tarifa mensual fija durante todo el contrato, sin cargos por salida de datos.
Alquile servidores A100 80GB con contratos de 36 a 60 meses.
Indíquenos el hardware, el número de servidores, la duración del contrato y la fecha de inicio. Recibirá una propuesta por escrito basada en nuestra especificación de entrega.