Clústeres de GPU para entrenamiento de IA
Clústeres NVIDIA HGX B300 dedicados con 270 GB de HBM3e y 800 Gb/s de fabric por GPU, construidos según una especificación publicada y sometidos a burn-in antes de su primer paso de entrenamiento.
Un clúster de GPU de 1Legion para entrenamiento de IA es un conjunto de servidores NVIDIA HGX B300 completos en un fabric este-oeste que solo transporta su tráfico, alquilado a un único cliente durante 36, 48 o 60 meses. Construimos cada clúster según nuestra especificación de entrega publicada y lo sometemos a burn-in antes de la entrega, de modo que el primer paso de una ejecución de varias semanas empieza en nodos que ya han superado una prueba de carga sostenida de 24 horas.
Lo que debe sostener una infraestructura de entrenamiento de LLM
Una ejecución de entrenamiento que dura semanas necesita memoria para el estado del optimizador, un fabric sin enlaces lentos, un almacenamiento rápido para los checkpoints y un entorno que no cambie mientras se ejecuta.
Memoria para el estado del optimizador
El entrenamiento de precisión mixta con el optimizador Adam ocupa unos 16 bytes por parámetro entre pesos, gradientes y estado del optimizador. Para un modelo de 70B parámetros, eso supone alrededor de 1,1 TB antes de las activaciones, que caben en los 2,1 TB de HBM3e de un solo servidor HGX B300.
Un fabric sin enlaces lentos
El entrenamiento fragmentado y con paralelismo de datos sincroniza los gradientes entre todas las GPU en cada paso, por lo que un solo enlace congestionado ralentiza todo el clúster. Nuestros fabrics HGX B300 son totalmente no bloqueantes a 800 Gb/s por GPU.
Rendimiento de los checkpoints
Un checkpoint con pesos maestros en FP32 y el estado de Adam de un modelo de 70B parámetros ocupa unos 840 GB, y un guardado síncrono detiene todas las GPU hasta que se escribe. El almacenamiento se dimensiona por GPU, y los checkpoints salen del clúster sin cargos por salida de datos.
Un entorno que no cambia
Ningún otro inquilino comparte sus servidores ni su fabric. Los cambios por nuestra parte siguen una gestión de cambios por escrito, y el mantenimiento de alto riesgo se avisa con al menos 7 días de antelación.
Nuestro artículo sobre cuellos de botella en el entrenamiento explica por qué la memoria y la interconexión, y no el número de GPU, determinan el rendimiento del entrenamiento.
Qué servidores encajan con las cargas de trabajo de entrenamiento
HGX B300 es nuestra principal plataforma de entrenamiento y HGX B200 también tiene asignación abierta, mientras que GB300 NVL72 y Vera Rubin están disponibles con reserva previa.
- Memoria por GPU
- 270 GB HBM3e
- GPU por servidor
- 8
- Memoria por GPU
- 180 GB HBM3e
- GPU por servidor
- 8
- Memoria por GPU
- 279 GB HBM3e
- GPU por rack
- 72
- Memoria por GPU
- 288 GB HBM4
- GPU por servidor
- 8
| Servidor de 8 GPU | HGX B300 | HGX B200 |
|---|---|---|
| Memoria de GPU por servidor | 2,1 TB HBM3e | 1.440 GB HBM3e |
| Ancho de banda de memoria por GPU | 7,7 TB/s | 7,7 TB/s |
| NVLink | 1,8 TB/s por GPU, 14,4 TB/s en total | 1,8 TB/s por GPU, 14,4 TB/s en total |
| FP4 Tensor por servidor, con dispersión y denso | 144 y 108 PFLOPS | 144 y 72 PFLOPS |
| FP8 Tensor por servidor, con dispersión | 72 PFLOPS | 72 PFLOPS |
| FP64 por servidor | 10 TFLOPS | 296 TFLOPS |
Elija HGX B300 cuando la memoria por GPU determine cómo particionar el modelo: 270 GB alojan en una sola GPU los 140 GB de pesos en BF16 de un modelo de 70B parámetros, con 130 GB de margen. Elija HGX B200 cuando su trabajo combine entrenamiento con simulación en FP64. GB300 NVL72 reúne 72 GPU Blackwell Ultra y 36 CPU Grace en un único dominio NVLink con refrigeración líquida, 20 TB de HBM3e y 130 TB/s de ancho de banda NVLink. Vera Rubin es la próxima plataforma de NVIDIA que tenemos encargada, con 288 GB de HBM4 por GPU y NVLink de sexta generación.
Un fabric dedicado y no bloqueante
Cada clúster HGX B300 tiene su propio fabric este-oeste, optimizado por rails y totalmente no bloqueante, con 800 Gb/s por GPU.
- Ancho de banda: planos de 1 x 800 o 2 x 400 Gb/s por GPU, 6,4 Tb/s por servidor, preferiblemente con NVIDIA ConnectX-8.
- Conmutación: preferiblemente NVIDIA Spectrum-X o Broadcom Tomahawk 6; se aceptan NVIDIA Quantum InfiniBand o Tomahawk 5.
- Dentro de cada servidor: NVLink de quinta generación a 1,8 TB/s por GPU.
- Almacenamiento y servicios: una red norte-sur independiente, preferiblemente a 400 Gb/s por nodo, compatible con RoCEv2, MTU 9000 y sin sobresuscripción en los switches leaf de almacenamiento.
Los clústeres tienen tres tamaños de referencia, y los clústeres más grandes siguen el mismo diseño.
| Elemento | 64 nodos | 128 nodos | 288 nodos |
|---|---|---|---|
| Nodos GPU (8 GPU cada uno) | 64 | 128 | 288 |
| GPU | 512 | 1.024 | 2.304 |
| Nodos de CPU | 24 | 48 | 108 |
| Nodos del plano de control | 6 | 6 | 6 |
| Almacenamiento, opción appliance (útil) | 512 TB | 1.024 TB | 2.304 TB |
| Almacenamiento, opción de nodos de almacenamiento | 9 nodos | 17 nodos | 38 nodos |
| Carga de TI estimada | unos 0,98 MW | unos 1,95 MW | unos 4,39 MW |
Cada tamaño incluye nodos de CPU para servicio, enrutamiento y trabajos por lotes, con al menos 6 hilos de hardware y 24 GB de memoria por cada GPU del clúster, y seis nodos de plano de control repartidos en dos racks. Nuestra página clústeres de GPU trata la planificación de potencia, de unos 14 kW por nodo GPU.
Almacenamiento para checkpoints y conjuntos de datos
El almacenamiento tiene dos opciones, ambas dimensionadas por GPU, y cada nodo GPU añade al menos 9,2 TB de NVMe local en bruto para fragmentos de conjuntos de datos y el almacenamiento intermedio de checkpoints.
Opción A: un appliance gestionado
Un appliance de VAST Data, WEKA o DDN, a su elección, con al menos 1 TB útil por GPU (512 TB en un clúster de 64 nodos), rendimiento y latencia comprometidos por nivel, uso y cuotas visibles, recuperación probada y escalado al fabricante 24/7.
Opción B: nodos de almacenamiento para su propio software
Nodos de almacenamiento con al menos 3 TB en bruto por GPU en unidades NVMe PCIe 5.0 de 30,72 TB, a partir de un mínimo de 9 nodos, con compatibilidad con unidades de autocifrado. Ambas opciones se describen en almacenamiento y redes.
Cómo gestionamos los fallos durante una ejecución
Cuando el hardware falla en mitad de una ejecución, retiramos el nodo del servicio y lo reparamos o lo sustituimos, para que su trabajo pueda reiniciarse en nodos en buen estado.
- Los fallos fatales de GPU (XID 79, XID 48, errores ECC de doble bit y fallos de reasignación de filas) ponen un nodo en cuarentena de inmediato.
- Los errores XID 13 y XID 31 recurrentes se gestionan a partir de un número de repeticiones acordado con usted.
- Los bloqueos de NCCL se correlacionan con los eventos del fabric, de modo que un trabajo detenido se vincula al enlace que lo causa.
- Los nodos sospechosos de corrupción silenciosa de datos permanecen en cuarentena.
- Las unidades NVMe se sustituyen antes de que alcancen su límite de resistencia.
La telemetría operativa se conserva al menos 30 días, y el historial de incidentes y de estado, al menos 12 meses. La lista completa está en nuestros compromisos operativos, y nuestro artículo sobre por qué fallan las ejecuciones de entrenamiento largas en la nube compartida explica los modos de fallo.
Burn-in en lugar de periodo de prueba
Cada clúster supera las pruebas de validación de hardware de NVIDIA de HW-1 a HW-5 antes de la entrega, y los resultados se recogen en su informe de aceptación.
- HW-1
Rendimiento colectivo
Rendimiento de referencia de NCCL con nccl-tests, con operaciones colectivas aceleradas por SHARP donde el fabric las admite.
nccl-tests - HW-2
Todos los rails de red
Cada rail InfiniBand o RoCE se prueba con ib_write_bw.
ib_write_bw - HW-3
GPUDirect y almacenamiento
Pruebas de humo de GPUDirect RDMA y del almacenamiento, incluidas la lectura y la escritura en NVMe.
GPUDirect RDMA, NVMe - HW-4
NVLink y NVSwitch
Número de enlaces y ancho de banda de NVLink y NVSwitch, comprobados con nvbandwidth.
nvbandwidth - HW-5
Prueba de carga sostenida de 24 horas
Una prueba de 24 horas con una carga de inferencia representativa y un límite de potencia constante.
carga de inferencia con límite de potencia
No ofrecemos periodos de prueba, pruebas de concepto ni alquileres a corto plazo. El informe de aceptación muestra el rendimiento de NCCL, cada rail InfiniBand o RoCE, los enlaces NVLink y NVSwitch y una prueba de carga sostenida de 24 horas, medidos en los nodos en los que entrenará. Consulte cómo funcionan el burn-in y la aceptación.
Alquiler de GPU para entrenar modelos con contratos de 36 a 60 meses
Los clústeres de entrenamiento se alquilan como servidores completos durante 36, 48 o 60 meses con una única tarifa mensual fija, y los contratos más largos tienen tarifas más bajas.
Solicitar presupuesto
Indíquenos el tamaño del modelo, el número de servidores, la duración del contrato, el emplazamiento y cuándo los necesita.
Propuesta
Le enviamos una propuesta por escrito referida a nuestra especificación de entrega, en la que cada cambio que necesite figura como una desviación numerada.
Alta y contrato
La empresa que utilizará los servidores rellena nuestros tres formularios de alta, firma el contrato de alquiler y abona el pago inicial.
Montaje, burn-in y entrega
Montamos el clúster y lo sometemos a burn-in en Toronto, o en Delaware a medida que ese emplazamiento se pone en marcha, y después se lo entregamos con el informe de aceptación, un canal de Slack compartido y un responsable técnico de cuenta designado.
El resto se factura mensualmente durante el contrato sin cargos por salida de datos, y las asignaciones de mayor tamaño pueden requerir un aval bancario o una carta de crédito. Si quiere que operemos la capa de plataforma, instalamos y operamos Kubernetes gestionado con NVIDIA GPU Operator y Network Operator, o Slurm gestionado. Nuestro artículo sobre entrenamiento sostenido en B300 dedicados muestra cómo los laboratorios planifican una campaña en torno a una duración de contrato fija.
Lo que preguntan los compradores
¿Cuál es el clúster de entrenamiento más pequeño que alquilan?
Alquilamos servidores completos, así que la unidad más pequeña es un servidor HGX B300 de 8 GPU con un contrato de 36 meses. Nuestros clústeres de referencia son de 64, 128 y 288 nodos en un único fabric dedicado, y los clústeres más grandes siguen el mismo diseño.
¿Podemos probar el clúster antes de firmar?
No ofrecemos periodos de prueba ni pruebas de concepto. Cada clúster supera las pruebas de validación de hardware de NVIDIA de HW-1 a HW-5 antes de la entrega, y usted recibe los resultados en un informe de aceptación. Consulte burn-in y aceptación.
¿Construyen fabrics de entrenamiento InfiniBand o Ethernet?
Nuestra especificación de entrega prefiere NVIDIA Spectrum-X o Broadcom Tomahawk 6 y acepta NVIDIA Quantum InfiniBand o Tomahawk 5. En ambos casos, el fabric está optimizado por rails, es totalmente no bloqueante, ofrece 800 Gb/s por GPU y está dedicado a usted.
¿Qué almacenamiento deberíamos elegir para los checkpoints?
La opción A es un appliance de VAST Data, WEKA o DDN con al menos 1 TB útil por GPU y escalado al fabricante 24/7. La opción B consiste en nodos de almacenamiento con al menos 3 TB en bruto por GPU para el software de almacenamiento que usted mismo ejecute.
¿Qué ocurre cuando una GPU falla durante una ejecución?
Los fallos fatales, como XID 79 o los errores ECC de doble bit, ponen el nodo en cuarentena de inmediato, y lo reparamos o lo sustituimos antes de que vuelva a su clúster. Se asigna un responsable de incidentes en un plazo de 15 minutos.
¿Ofrecen contratos de uno o dos años para clústeres de entrenamiento?
No. Los servidores GPU se alquilan durante 36, 48 o 60 meses, y los contratos más largos tienen tarifas más bajas.
Planificar su próximo clúster de entrenamiento
Indíquenos el modelo, el tamaño del clúster, la duración del contrato y el emplazamiento, y le responderemos con una propuesta por escrito referida a nuestra especificación de entrega.