NVIDIA HGX B200
Ocho GPU Blackwell con 180 GB de HBM3e cada una, NVLink de quinta generación y un sólido rendimiento FP64, en alquiler como servidores completos o como clúster dedicado para entrenamiento, inferencia y computación científica.
- GPU por servidor
- 8
- Memoria por GPU
- 180 GB HBM3e
- FP4 por servidor
- 72 PFLOPS densos
- FP64 por servidor
- 296 TFLOPS
Especificaciones
| GPU | |
|---|---|
| Plataforma | NVIDIA HGX B200, 8 GPU SXM en una placa base |
| Arquitectura | NVIDIA Blackwell |
| Memoria por GPU | 180 GB HBM3e |
| Memoria de GPU por servidor | 1.440 GB HBM3e (8 x 180 GB) |
| Ancho de banda de memoria por GPU | 7,7 TB/s |
| FP4 Tensor, 8 GPU | 144 PFLOPS con dispersión, 72 PFLOPS densos |
| FP8 y FP6 Tensor, 8 GPU | 72 PFLOPS con dispersión |
| INT8 Tensor, 8 GPU | 72 POPS con dispersión |
| FP16 y BF16 Tensor, 8 GPU | 36 PFLOPS con dispersión |
| TF32 Tensor, 8 GPU | 18 PFLOPS con dispersión |
| FP32, 8 GPU | 600 TFLOPS |
| FP64, 8 GPU | 296 TFLOPS (37 TFLOPS por GPU) |
| NVLink | Quinta generación, 1,8 TB/s por GPU, 14,4 TB/s por servidor |
| PCIe | Gen5, 128 GB/s |
| Potencia por GPU | Configurable, hasta 1.000 W |
| Multi-Instance GPU | Hasta 7 instancias, de 1g.23gb a 7g.180gb |
| Servidor tal como se entrega | |
|---|---|
| GPU por servidor | 8 |
| CPU, memoria del sistema y almacenamiento | Según sus requisitos, con confirmación en su propuesta |
| Refrigeración | Según el modelo de servidor, con confirmación en su propuesta |
| Potencia del sistema de referencia | Unos 14,3 kW como máximo (NVIDIA DGX B200) |
| Redes | |
|---|---|
| Diseño de referencia de NVIDIA | DGX B200: 8 adaptadores ConnectX-7 de un solo puerto, hasta 400 Gb/s InfiniBand o Ethernet |
| Red de backend y de frontend | Dimensionamiento según el diseño de su clúster, con confirmación en su propuesta |
Cargas de trabajo habituales
- Entrenamiento y ajuste fino de modelos que caben en 180 GB por GPU
- Inferencia en FP4, FP8 e INT8
- Computación científica y simulación que necesitan FP64 junto a la IA
Alquile servidores NVIDIA HGX B200 como nodos completos de 8 GPU o como clúster dedicado. La asignación de HGX B200 está abierta, con contratos de 36, 48 o 60 meses y cada precio en una propuesta por escrito.
Para quién es el HGX B200
El HGX B200 es adecuado para equipos que quieren Blackwell para entrenamiento e inferencia y siguen ejecutando trabajos de doble precisión. Cada GPU tiene 180 GB de HBM3e, 1.440 GB por servidor, de modo que un modelo de 70B parámetros en FP8 (unos 70 GB de pesos) cabe en una sola GPU y deja unos 110 GB para la caché KV y el procesamiento por lotes.
Los grupos de investigación y los equipos de IA que ejecutan simulaciones junto al entrenamiento de modelos tienen ambas cosas en una sola plataforma. Los equipos que necesitan la máxima memoria por GPU deberían compararlo con el HGX B300, que lleva 270 GB.
Sus puntos fuertes
FP64 junto a la IA
NVIDIA cifra cada GPU en 37 TFLOPS de FP64, 296 TFLOPS por servidor, unas 30 veces los 10 TFLOPS de una placa HGX B300.
Formatos numéricos de Blackwell
144 PFLOPS de FP4 con dispersión por servidor (72 PFLOPS densos), 72 PFLOPS de FP8 con dispersión y 72 POPS de INT8 con dispersión.
NVLink dentro del servidor
NVLink de quinta generación ofrece a cada GPU 1,8 TB/s hacia las otras siete, 14,4 TB/s en toda la placa.
Particionado con MIG
Cada GPU se divide en hasta siete instancias, desde el perfil 1g.23gb hasta el 7g.180gb completo, de modo que varios trabajos pueden compartir un servidor.
La ficha técnica de Blackwell de NVIDIA indica 7,7 TB/s de ancho de banda de memoria por GPU. Cada GPU es configurable hasta 1.000 W, y NVIDIA cifra su propio sistema DGX B200 en unos 14,3 kW, una cifra útil para planificar la instalación.
Configuración de entrega
Los servidores HGX B200 se configuran según sus requisitos y se confirman en su propuesta: CPU, memoria del sistema, NVMe local, adaptadores de red y refrigeración. El diseño de referencia DGX B200 de NVIDIA asigna a cada GPU un adaptador ConnectX-7 de hasta 400 Gb/s, y dimensionamos la red de backend según el clúster que usted planifique. Cada servidor se somete a burn-in antes de la entrega, y usted recibe los resultados en un informe de aceptación, como se describe en nuestra página burn-in y aceptación.
Opciones de clúster HGX B200
Puede alquilar HGX B200 como servidores individuales o como clúster sobre un fabric dedicado a usted. El clúster se diseña con usted, desde el fabric este-oeste hasta los nodos de CPU y el almacenamiento, y se detalla en su propuesta.
Nuestros diseños de referencia publicados de HGX B300 muestran el enfoque: un fabric optimizado por rails y totalmente no bloqueante que no comparte ningún otro cliente, nodos de CPU para los servicios en torno a las GPU y almacenamiento dimensionado por GPU. Nuestra página clústeres de GPU dedicados explica cómo se construye y se entrega un clúster, y Kubernetes gestionado trata la orquestación si quiere que nos encarguemos de ella.
Cómo funciona el alquiler
La asignación de HGX B200 está abierta. Usted alquila servidores completos de 8 GPU con un contrato de 36, 48 o 60 meses, y los contratos más largos tienen tarifas más bajas.
Antes de firmar, la empresa que utilizará los servidores rellena tres formularios de alta. Usted abona un pago inicial a la firma y después una única tarifa mensual fija durante todo el contrato, sin cargos por salida de datos. Las asignaciones de mayor tamaño pueden requerir una garantía de pago, como un aval bancario o una carta de crédito. No ofrecemos periodos de prueba: el burn-in y el informe de aceptación ocupan su lugar. Su propuesta indica el emplazamiento, elegido entre nuestras ubicaciones de centros de datos, y nuestra página cómo contratar recorre cada paso.
Cargas de trabajo y alternativas
El HGX B200 se adapta al entrenamiento y el ajuste fino que no superan los 180 GB por GPU, a la inferencia en FP4, FP8 o INT8 y a la computación científica que necesita FP64 junto a la IA. Nuestra página entrenamiento de IA trata el almacenamiento, la gestión de fallos y la duración de los contratos para hojas de ruta de entrenamiento. Para conocer el razonamiento que hay detrás del dimensionamiento, lea cuellos de botella en el entrenamiento de modelos fundacionales y por qué fallan las ejecuciones de entrenamiento largas en la nube compartida.
Si la memoria por GPU es el límite, el HGX B300 ofrece 270 GB por GPU y 108 PFLOPS de FP4 denso por servidor. Si su código está optimizado para Ampere, la A100 80GB está disponible bajo petición.
Servidores relacionados
Lo que preguntan los compradores
HGX B200 o HGX B300: ¿cuál deberíamos alquilar?
Elija el HGX B300 si busca la máxima memoria por GPU (270 GB) y el mayor rendimiento FP4 denso. Elija el HGX B200 si sus modelos caben en 180 GB por GPU o si necesita FP64, que NVIDIA cifra en 296 TFLOPS por servidor frente a 10 TFLOPS en un HGX B300.
¿La memoria del HGX B200 es de 180 GB o de 192 GB por GPU?
180 GB de HBM3e por GPU y 1.440 GB por servidor, como indican los documentos de NVIDIA sobre HGX B200. La cifra de 192 GB que circula es el máximo de NVIDIA para la arquitectura Blackwell, no la configuración de HGX B200.
¿Podemos alquilar un clúster HGX B200 en lugar de servidores individuales?
Sí. Un clúster B200 funciona sobre un fabric dedicado a usted, y su diseño, del fabric al almacenamiento, se detalla en su propuesta. Consulte clústeres de GPU dedicados.
¿Podemos probar los servidores HGX B200 antes de firmar?
No ofrecemos periodos de prueba ni pruebas de concepto. Cada servidor se somete a burn-in antes de la entrega, y usted recibe los resultados en un informe de aceptación.
¿Qué duraciones de contrato hay disponibles?
36, 48 o 60 meses, con tarifas más bajas para los contratos más largos. Usted abona un pago inicial a la firma y después una única tarifa mensual fija durante todo el contrato, sin cargos por salida de datos.
Alquile servidores B200 con contratos de 36 a 60 meses.
Indíquenos el hardware, el número de servidores, la duración del contrato y la fecha de inicio. Recibirá una propuesta por escrito basada en nuestra especificación de entrega.