NVIDIA GB300 NVL72
Un rack con refrigeración líquida de 72 GPU Blackwell Ultra y 36 CPU Grace en un solo dominio NVLink, con 20 TB de HBM3e y 37 TB de memoria rápida, que se reserva y se alquila como rack completo.
- GPU por rack
- 72
- Memoria de GPU por rack
- 20 TB HBM3e
- NVLink por rack
- 130 TB/s
- FP4 por rack
- 1.080 PFLOPS densos
Especificaciones
| GPU | |
|---|---|
| Configuración | 72 GPU NVIDIA Blackwell Ultra y 36 CPU NVIDIA Grace |
| Arquitectura | NVIDIA Grace Blackwell Ultra |
| Memoria por GPU | 279 GB HBM3e a 8 TB/s |
| Memoria de GPU por rack | 20 TB HBM3e, hasta 576 TB/s |
| Memoria de CPU por rack | 17 TB LPDDR5X, 14 TB/s |
| Memoria rápida por rack | 37 TB (HBM3e más LPDDR5X) |
| Núcleos de CPU por rack | 2.592 núcleos Arm Neoverse V2 |
| FP4 Tensor, por rack | 1.440 PFLOPS con dispersión, 1.080 PFLOPS densos |
| FP8 y FP6 Tensor, por rack | 720 PFLOPS con dispersión |
| FP16 y BF16 Tensor, por rack | 360 PFLOPS con dispersión |
| TF32 Tensor, por rack | 180 PFLOPS con dispersión |
| FP32, por rack | 6 PFLOPS |
| FP64, por rack | 100 TFLOPS |
| NVLink | Quinta generación, 1,8 TB/s por GPU, 130 TB/s por rack |
| Potencia por GPU | Configurable, hasta 1.400 W |
| Servidor tal como se entrega | |
|---|---|
| Unidad de alquiler | Un rack completo, 72 GPU y 36 CPU |
| Refrigeración | Refrigeración totalmente líquida |
| Instalación | Refrigeración líquida directa al chip, confirmada antes de la colocación |
| Configuración del rack | Según sus requisitos, con confirmación en su propuesta |
| Redes | |
|---|---|
| Red de escalado horizontal | NVIDIA ConnectX-8 SuperNIC, 800 Gb/s por GPU |
| Fabric fuera del rack | Diseñado con usted y confirmado en su propuesta |
Cargas de trabajo habituales
- Inferencia a escala de rack para modelos de razonamiento y de mezcla de expertos
- Entrenamiento en el que el paralelismo de modelo abarca más de ocho GPU
- Generación de vídeo basada en difusión a escala de rack
Alquile racks NVIDIA GB300 NVL72 con reserva previa: 72 GPU Blackwell Ultra y 36 CPU Grace unidas en un solo dominio NVLink, en un rack completo con refrigeración líquida y dedicado a usted. Las reservas se formalizan con contratos de 36, 48 o 60 meses, con cada precio en una propuesta por escrito.
Para quién es GB300 NVL72
GB300 NVL72 está pensado para modelos que necesitan que más de ocho GPU se comuniquen a velocidad NVLink. En un servidor de 8 GPU, el tráfico entre servidores atraviesa la red a 800 Gb/s por GPU. En un rack GB300 NVL72, las 72 GPU comparten un solo dominio NVLink a 1,8 TB/s por GPU y 130 TB/s en total.
Esto es importante para los modelos de mezcla de expertos que reparten los expertos entre muchas GPU, para los grandes grupos de paralelismo tensorial en el entrenamiento y para los modelos de razonamiento que sirven contextos largos a muchos usuarios a la vez. NVIDIA también orienta el rack a la generación de vídeo basada en difusión.
Sus puntos fuertes
Un solo dominio NVLink
72 GPU y 36 CPU Grace en un solo dominio NVLink, con 130 TB/s de ancho de banda NVLink total.
Memoria por rack
20 TB de HBM3e a hasta 576 TB/s, o 279 GB a 8 TB/s por GPU, y 37 TB de memoria rápida si se cuentan los 17 TB de LPDDR5X de Grace.
Cómputo por rack
1.080 PFLOPS de FP4 denso (1.440 PFLOPS con dispersión) y 720 PFLOPS de FP8 con dispersión, con GPU configurables hasta 1.400 W cada una.
Red de escalado horizontal
Las SuperNIC NVIDIA ConnectX-8 ofrecen a cada GPU 800 Gb/s de conectividad de red para el tráfico fuera del rack.
Al igual que el HGX B300, GB300 NVL72 está diseñado para los formatos numéricos de IA: NVIDIA cifra el rack completo en 100 TFLOPS de FP64.
Configuración de entrega
GB300 NVL72 se alquila como rack completo, configurado según sus requisitos y confirmado en su propuesta. NVIDIA lo diseña como un sistema con refrigeración totalmente líquida, por lo que solo lo ubicamos en instalaciones con refrigeración líquida directa al chip que cumplan nuestros requisitos para centros de datos: un máximo contractual de kW por rack, doble vía de alimentación (A y B) hasta cada rack y mantenibilidad concurrente de la alimentación y la refrigeración.
NVIDIA no publica una cifra de potencia por rack para GB300 NVL72, por lo que se confirma para el sistema elegido antes de su colocación. Nuestra página centros de datos explica cómo elegimos las instalaciones.
Cómo funciona una reserva
GB300 NVL72 está disponible con reserva previa: usted reserva racks antes del despliegue. No publicamos fechas de entrega; el calendario de sus racks se acuerda por escrito.
Solicitud y propuesta
Indíquenos cuántos racks necesita y cuándo. Nuestra propuesta por escrito detalla la configuración, el precio y el calendario de entrega.
Alta y contrato
La empresa que utilizará los racks rellena tres formularios de alta; después firma un contrato de 36, 48 o 60 meses y abona el pago inicial. Las asignaciones de este tamaño pueden requerir una garantía de pago, como un aval bancario o una carta de crédito.
Burn-in y entrega
Cada rack se somete a burn-in antes de la entrega, y usted recibe los resultados en un informe de aceptación. La facturación es mensual, a una única tarifa fija durante todo el contrato, sin cargos por salida de datos.
Los contratos más largos tienen tarifas más bajas. Nuestra página cómo contratar explica en detalle los formularios y la estructura de pagos.
Cargas de trabajo y alternativas
GB300 NVL72 se adapta a la inferencia a escala de rack para modelos de razonamiento y de mezcla de expertos, y al entrenamiento en el que el paralelismo de modelo abarca más de un servidor de 8 GPU. Nuestras páginas entrenamiento de IA e inferencia de IA tratan la infraestructura que lo rodea. Cuellos de botella en el entrenamiento de modelos fundacionales explica por qué la interconexión marca el límite en cuanto se reparte un modelo, y 8 x 270 GB: qué cabe en un nodo B300 muestra hasta dónde llega una sola GPU.
Si necesita capacidad antes, la asignación de HGX B300 está abierta, con clústeres de 64 a 288 nodos sobre un fabric dedicado, como se describe en nuestra página clústeres de GPU. Para la generación posterior a Blackwell Ultra, consulte NVIDIA Vera Rubin, también con reserva previa.
Lo que preguntan los compradores
¿Qué significa «con reserva previa» en GB300 NVL72?
Usted reserva racks antes del despliegue. El calendario de entrega se acuerda en su propuesta y en su contrato; no publicamos fechas.
¿Podemos alquilar parte de un rack GB300 NVL72?
No. GB300 NVL72 se alquila como rack completo de 72 GPU y 36 CPU Grace, con el dominio NVLink dedicado a usted.
¿Qué refrigeración necesita GB300 NVL72?
NVIDIA lo diseña como un rack con refrigeración totalmente líquida. Solo lo ubicamos en instalaciones con refrigeración líquida directa al chip que cumplan nuestros requisitos para centros de datos.
¿En qué se diferencia GB300 NVL72 de HGX B300?
Ambos usan GPU Blackwell Ultra. GB300 NVL72 une 72 GPU y CPU Grace en un solo dominio NVLink con refrigeración líquida, mientras que el HGX B300 une 8 GPU por servidor refrigerado por aire y escala horizontalmente sobre un fabric de 800 Gb/s por GPU.
¿Qué duraciones de contrato se aplican?
36, 48 o 60 meses, con tarifas más bajas para los contratos más largos. Usted abona un pago inicial a la firma y después una única tarifa mensual fija durante todo el contrato, sin cargos por salida de datos.
Alquile servidores GB300 NVL72 con contratos de 36 a 60 meses.
Indíquenos el hardware, el número de servidores, la duración del contrato y la fecha de inicio. Recibirá una propuesta por escrito basada en nuestra especificación de entrega.