Clústeres de GPU dedicados
Clústeres HGX B300 de 64, 128 o 288 nodos, construidos según nuestra especificación de entrega publicada, sometidos a burn-in antes de la entrega y operados sobre un fabric que no usa ningún otro cliente.
Un clúster de GPU de 1Legion es un sistema NVIDIA HGX B300 completo dedicado a un solo cliente: servidores GPU, nodos de CPU, plano de control, almacenamiento, un fabric este-oeste no bloqueante, la red norte-sur y la red perimetral de internet. Lo construimos según nuestra especificación de entrega publicada, lo sometemos a burn-in con las pruebas de validación de hardware de NVIDIA y lo operamos durante todo el contrato, de 36 a 60 meses.
Qué incluye un clúster de IA dedicado
Cada capa del clúster sirve a un solo cliente, de las GPU a la red norte-sur, y cada capa se especifica por escrito antes de que usted firme.
| Nodo | Función | Especificación |
|---|---|---|
| Nodo GPU | Ejecuta su entrenamiento y su inferencia | NVIDIA HGX B300, 8 GPU con 270 GB de HBM3e cada una; al menos 128 vCPU; preferiblemente 3 TB de memoria del sistema, al menos 1,92 TB; al menos 9,2 TB brutos de NVMe local; 800 Gb/s por GPU con NVIDIA ConnectX-8 (preferente); frontend NVIDIA BlueField-3 a 2 x 400 Gb/s (preferente); refrigeración por aire según la recomendación del OEM |
| Nodo de CPU | Ejecuta los servicios en torno a las GPU: servicio de modelos, enrutamiento y trabajos por lotes | x86, al menos 128 vCPU con una frecuencia base superior a 3 GHz, preferiblemente AMD EPYC 9565 o 9575F; 4 GB de memoria por hilo; frontend BlueField-3 |
| Nodo del plano de control | El plano de control del clúster | 32 vCPU a más de 3,65 GHz, preferiblemente AMD EPYC 9175F; 128 GB de memoria; seis nodos por cada 2.304 GPU, repartidos en dos racks |
Los nodos de CPU se dimensionan a partir del número de GPU: al menos 6 hilos de hardware y 24 GB de memoria por cada GPU del clúster. B300 para laboratorios de modelos de IA describe lo que el entrenamiento sostenido exige a cada capa.
Configuraciones de referencia de clústeres HGX B300
Tres tamaños de referencia fijan cuántos nodos de CPU, nodos del plano de control, almacenamiento y megavatios corresponden a un número dado de nodos GPU.
| Elemento | 64 nodos | 128 nodos | 288 nodos |
|---|---|---|---|
| Nodos GPU (8 GPU cada uno) | 64 | 128 | 288 |
| GPU | 512 | 1.024 | 2.304 |
| Nodos de CPU | 24 | 48 | 108 |
| Nodos del plano de control | 6 | 6 | 6 |
| Almacenamiento, opción appliance (útil) | 512 TB | 1.024 TB | 2.304 TB |
| Almacenamiento, opción de nodos de almacenamiento | 9 nodos | 17 nodos | 38 nodos |
| Carga de TI estimada | unos 0,98 MW | unos 1,95 MW | unos 4,39 MW |
Las proporciones se mantienen en todos los tamaños. Con 24, 48 y 108 nodos de CPU de 128 vCPU, cada GPU dispone de 6 hilos de hardware. El appliance de almacenamiento ofrece al menos 1 TB útil por GPU. Seis nodos del plano de control cubren los tres tamaños, porque la especificación fija seis por cada 2.304 GPU. En total, los tres tamaños reúnen unos 138 TB, 276 TB y 622 TB de HBM3e, y caben en 1 MW, 2 MW y 4,4 MW de carga de TI.
Más grandes, con diseño a medida
Los tamaños de referencia terminan en 288 nodos; el diseño, no. La especificación dimensiona cada capa por GPU: 800 Gb/s de fabric, 6 hilos de CPU y 24 GB de memoria de CPU, y 1 TB de almacenamiento útil. Un clúster más grande mantiene esas proporciones, y su propuesta detalla el diseño, el emplazamiento y la potencia. Los clústeres HGX B300 funcionan hoy en Toronto, y la capacidad de Delaware, en Estados Unidos, se está poniendo en marcha.
El fabric este-oeste: Ethernet o InfiniBand
Cada GPU dispone de sus propios 800 Gb/s hacia un fabric optimizado por rails y totalmente no bloqueante que solo transporta su tráfico.
- Ancho de banda: planos de 1 x 800 Gb/s o 2 x 400 Gb/s por GPU, 6,4 Tb/s por servidor, preferiblemente con NIC NVIDIA ConnectX-8.
- Optimizado por rails: la NIC de la GPU 1 de cada servidor se conecta al rail 1, la GPU 2 al rail 2, y así sucesivamente.
- No bloqueante: sin sobresuscripción en el fabric, de modo que todas las GPU pueden transmitir a velocidad máxima al mismo tiempo.
- Conmutación: preferiblemente NVIDIA Spectrum-X o Broadcom Tomahawk 6; se acepta NVIDIA Quantum InfiniBand o Tomahawk 5.
- Probado antes de la entrega: rendimiento de NCCL con nccl-tests, con SHARP donde sea compatible (HW-1), y cada rail InfiniBand o RoCE con ib_write_bw (HW-2).
Cuellos de botella en el entrenamiento de modelos fundacionales explica por qué el ancho de banda de la interconexión y de la memoria, más que el número de GPU, determina el rendimiento del entrenamiento.
Almacenamiento, red norte-sur y red perimetral
El almacenamiento y las redes que rodean al fabric se especifican por GPU y por nodo, en el mismo documento que las GPU.
- Almacenamiento, opción A: un appliance gestionado por el fabricante, de VAST Data, WEKA o DDN, con al menos 1 TB útil por GPU, escalado 24/7 al fabricante y compromisos de rendimiento y latencia por nivel.
- Almacenamiento, opción B: nodos de almacenamiento para su propio software de almacenamiento, al menos 3 TB brutos por GPU en unidades NVMe PCIe 5.0 de 30,72 TB, mínimo 9 nodos.
- Norte-sur: preferiblemente 400 Gb/s por nodo, 200 Gb/s como mínimo; sin sobresuscripción en los switches leaf de almacenamiento y por debajo de 4:1 en los switches leaf de GPU; RoCEv2 y MTU 9000.
- Perímetro: dos proveedores de tránsito independientes a 100 Gb/s por circuito, eBGP con BFD y filtrado de DDoS activado mediante BGP en un plazo de 5 minutos.
NAT, direcciones públicas, su propio espacio IP y ASN, y telemetría de flujos se tratan en almacenamiento y redes.
Planificación de potencia para un clúster de GPU
Cuente con unos 14 kW por nodo GPU: al sumar los nodos de CPU, el plano de control, los nodos de almacenamiento y la red, un clúster de 64 nodos necesita unos 0,98 MW de carga de TI.
| Clúster de 64 nodos | Cantidad | Cifra de planificación | Carga |
|---|---|---|---|
| Nodos GPU | 64 | unos 14 kW cada uno | 896 kW |
| Nodos de CPU | 24 | 1,0 kW cada uno | 24 kW |
| Nodos del plano de control | 6 | 0,5 kW cada uno | 3 kW |
| Nodos de almacenamiento, opción B | 9 | 1,3 kW cada uno | 11,7 kW |
| Red | 5 % de la carga de GPU | 44,8 kW | |
| Total | unos 0,98 MW |
El mismo método da unos 1,95 MW para 128 nodos y 4,39 MW para 288. La cifra de 14 kW es una hipótesis de trabajo para un nodo HGX B300 refrigerado por aire; NVIDIA indica unos 14 kW para su propio sistema DGX B300. La instalación debe comprometerse a un máximo contractual de kW por rack, y esa cifra determina cuántos nodos GPU comparten un rack. Centros de datos enumera qué más exigimos a un emplazamiento.
Cómo se entrega un clúster
Un clúster pasa de la propuesta a la producción en cinco pasos, y el informe de aceptación marca la frontera entre construirlo y operarlo.
Propuesta
Enviamos una propuesta por escrito basada en la especificación de entrega. Cada elemento se marca como «Obligatorio» o «Preferente», y cualquier cambio que usted necesite figura como una desviación numerada.
Contrato y alta
La empresa que utilizará el clúster rellena tres formularios de alta, firma el contrato de alquiler y abona el pago inicial. Las asignaciones de mayor tamaño pueden requerir un aval bancario o una carta de crédito.
Construcción
Instalamos los servidores en los racks, construimos el fabric, la red norte-sur y la red perimetral, y registramos cada rack, nodo, GPU, NIC, unidad, switch, puerto, transceptor y cable en un inventario maestro.
Burn-in
El clúster supera las pruebas de validación de hardware de NVIDIA, de HW-1 a HW-5: rendimiento de NCCL, cada rail del fabric, GPUDirect RDMA y almacenamiento, NVLink y NVSwitch, y una prueba de carga sostenida de 24 horas con un límite de potencia mantenido.
Entrega y operación
Usted recibe el informe de aceptación con todos los resultados. A continuación operamos el clúster conforme a nuestros compromisos operativos, con un canal de Slack compartido y un responsable técnico de cuenta designado.
Burn-in y aceptación describe cada prueba y lo que ocurre cuando un nodo no supera alguna.
Lo que preguntan los compradores
¿El fabric es InfiniBand o Ethernet?
Nuestra especificación de entrega prefiere Ethernet con NVIDIA Spectrum-X o Broadcom Tomahawk 6, y acepta NVIDIA Quantum InfiniBand o Tomahawk 5. En ambos casos, el fabric está optimizado por rails, es totalmente no bloqueante y ofrece 800 Gb/s por GPU.
¿Se comparte el clúster con otros clientes?
No. Los servidores GPU, el fabric este-oeste y la red norte-sur están dedicados a un solo cliente.
¿Cuánta potencia necesita un clúster de GPU?
Unos 0,98 MW de carga de TI para 64 nodos, 1,95 MW para 128 y 4,39 MW para 288, con una previsión de unos 14 kW por nodo GPU.
¿Los nodos GPU se refrigeran por aire o por líquido?
Los nodos HGX B300 se refrigeran por aire, según la recomendación del OEM a escala de clúster. GB300 NVL72, disponible con reserva previa, tiene refrigeración líquida.
¿Podemos ver los resultados del burn-in?
Sí. Cada clúster supera las pruebas de validación de hardware de NVIDIA, de HW-1 a HW-5, antes de la entrega, y usted recibe los resultados en un informe de aceptación. Consulte burn-in y aceptación.
¿Puede un clúster tener más de 288 nodos?
Sí. La especificación dimensiona cada capa por GPU, de modo que un clúster más grande mantiene las mismas proporciones. Su propuesta detalla el diseño, el emplazamiento y la potencia.
Díganos qué necesita ejecutar.
Indíquenos el hardware, el número de servidores, la duración del contrato y la fecha de inicio. Recibirá una propuesta por escrito basada en nuestra especificación de entrega.