Burn-in y aceptación
Cada clúster supera las pruebas de validación de hardware de NVIDIA, de HW-1 a HW-5, antes de que se lo entreguemos. Usted recibe los resultados en un informe de aceptación.
Las pruebas de burn-in de GPU son la forma en que comprobamos un clúster bajo carga antes de que usted ejecute nada en él. Cada clúster de 1Legion supera, antes de la entrega, la validación de hardware de NVIDIA para proveedores de inferencia (pruebas de HW-1 a HW-5), y los resultados le llegan en un informe de aceptación. El burn-in sustituye a un periodo de prueba: usted obtiene evidencias del hardware que realmente va a utilizar.
Las cinco pruebas de burn-in
El burn-in consta de cinco pruebas, cada una dirigida a una parte distinta del clúster, y solo entregamos un clúster cuando supera las cinco.
- HW-1
Rendimiento colectivo
Rendimiento de referencia de NCCL con nccl-tests, con operaciones colectivas aceleradas por SHARP donde el fabric las admite.
nccl-tests - HW-2
Todos los rails de red
Cada rail InfiniBand o RoCE se prueba con ib_write_bw.
ib_write_bw - HW-3
GPUDirect y almacenamiento
Pruebas de humo de GPUDirect RDMA y del almacenamiento, incluidas la lectura y la escritura en NVMe.
GPUDirect RDMA, NVMe - HW-4
NVLink y NVSwitch
Número de enlaces y ancho de banda de NVLink y NVSwitch, comprobados con nvbandwidth.
nvbandwidth - HW-5
Prueba de carga sostenida de 24 horas
Una prueba de 24 horas con una carga de inferencia representativa y un límite de potencia constante.
carga de inferencia con límite de potencia
En conjunto cubren las rutas de las que depende una carga de trabajo distribuida: entre las GPU dentro de un servidor (HW-4), entre servidores a través del fabric (HW-1 y HW-2), la ruta de red hacia la memoria de la GPU y la ruta de almacenamiento (HW-3) y el clúster completo bajo carga sostenida (HW-5). Las pruebas forman parte de la sección 15 de nuestra especificación de entrega.
Qué demuestra cada prueba
Cada prueba revisa una parte del hardware y, si se supera, le dice algo concreto sobre el clúster que va a utilizar.
HW-1: rendimiento de NCCL
NCCL (NVIDIA Collective Communications Library) es el software que usan las GPU para intercambiar datos durante el entrenamiento y la inferencia distribuidos, en operaciones como all-reduce. HW-1 ejecuta nccl-tests, el benchmark de NVIDIA para NCCL, en todo el clúster, con SHARP donde los switches lo admiten. SHARP realiza parte de cada reducción dentro de los switches, de modo que menos datos tienen que atravesar la red.
Superarla demuestra que las GPU de distintos servidores intercambian datos al rendimiento que exige la prueba. Cuando el rendimiento colectivo se queda corto, cada paso de un trabajo distribuido espera a la red.
HW-2: todos los rails del fabric
En un fabric optimizado por rails, un rail es el conjunto de enlaces que conecta las GPU que ocupan una misma posición en cada servidor con sus propios switches. HW-2 ejecuta ib_write_bw, que mide el ancho de banda de escritura RDMA entre dos puertos, en cada rail InfiniBand o RoCE del clúster.
Superarla demuestra que cada rail rinde por sí solo, no solo el fabric en promedio. Esto importa porque una operación colectiva avanza a la velocidad de su enlace más lento: un solo cable, transceptor o puerto deficiente puede ralentizar todas las GPU de un trabajo.
HW-3: GPUDirect RDMA y almacenamiento
GPUDirect RDMA permite que una tarjeta de red lea y escriba directamente en la memoria de la GPU, sin copiar los datos a través de la CPU y la memoria del sistema. HW-3 ejecuta pruebas de humo, comprobaciones breves de que una ruta funciona de extremo a extremo, sobre GPUDirect RDMA y sobre el almacenamiento, incluidas la lectura y la escritura en NVMe.
Superarla demuestra que los datos llegan a las GPU por la ruta directa para la que se diseñó el clúster y que la ruta de almacenamiento lee y escribe. Sin GPUDirect RDMA, el tráfico recurre a una ruta más lenta a través de la memoria del host y los trabajos siguen ejecutándose, solo que más despacio; por eso esa ruta se prueba por separado.
HW-4: NVLink y NVSwitch
Dentro de cada servidor HGX, las ocho GPU se conectan entre sí mediante NVLink y NVSwitch, una ruta mucho más rápida que la red entre servidores. HW-4 utiliza nvbandwidth, una herramienta de NVIDIA, para medir el ancho de banda de esos enlaces, y comprueba el número de enlaces: que todos los que deberían estar activos lo están.
Superarla demuestra que cada GPU tiene todos sus enlaces NVLink activos y que estos transportan el ancho de banda que espera la prueba. Un enlace ausente no impide que un servidor funcione, pero lo hace más lento; por eso se comprueba el número de enlaces.
HW-5: prueba de carga sostenida de 24 horas
HW-5 ejecuta una carga de inferencia representativa en el clúster durante 24 horas con un límite de potencia constante, es decir, un límite de potencia fijo que se mantiene durante toda la prueba. Los fallos que una prueba corta pasa por alto, como los errores por temperatura, los problemas de alimentación y los fallos intermitentes, suelen aparecer tras horas de carga continua.
Superarla demuestra que el hardware se mantiene estable durante un día completo de carga continua y representativa.
El informe de aceptación
Los resultados del burn-in le llegan en un informe de aceptación, para que tenga las evidencias cuando el clúster pase a ser suyo.
El informe recoge los resultados de HW-1 a HW-5 de su clúster. Consérvelo como punto de referencia. Las herramientas son públicas (nccl-tests, ib_write_bw y nvbandwidth), así que, si más adelante sospecha de un problema, sus ingenieros pueden ejecutar las mismas pruebas y comparar.
El propio hardware queda registrado en nuestro inventario maestro: cada rack, nodo, GPU, NIC, unidad, switch, puerto, transceptor y cable, con una exportación legible por máquina para usted. Tras la entrega, el clúster funciona bajo nuestros compromisos operativos por escrito.
Cuando un nodo falla
Un nodo que no supera una prueba no entra en servicio: se pone en cuarentena, se repara o se sustituye, y se vuelve a probar.
Cuarentena
El nodo se retira del clúster para que no pueda afectar a los demás nodos ni a los resultados.
Reparación o sustitución
Localizamos y corregimos la avería, o sustituimos la pieza averiada o el nodo completo.
Nueva prueba
El nodo reparado o de sustitución se vuelve a probar, y el clúster se entrega cuando el nodo supera la prueba.
La misma disciplina continúa después de la entrega. Aplicamos la cuarentena de inmediato ante fallos fatales de GPU (XID 79, XID 48, errores ECC de doble bit y fallos de reasignación de filas) y mantenemos en cuarentena cualquier nodo sospechoso de corrupción silenciosa de datos.
Por qué el burn-in sustituye a un periodo de prueba
No ofrecemos periodos de prueba, demostraciones, pruebas de concepto ni alquileres a corto plazo; lo que ofrecemos en su lugar son evidencias del hardware que realmente va a utilizar.
Un periodo de prueba muestra cómo se comporta un servidor durante poco tiempo, y normalmente no es el servidor que acabará teniendo. Nuestros contratos duran 36, 48 o 60 meses y son de servidores completos, así que lo que necesita saber es cómo rinde el clúster que recibe. El burn-in lo comprueba en su propio hardware, y el informe de aceptación deja los resultados por escrito.
Antes de firmar, la especificación de entrega le indica lo que está contratando, y nuestros ingenieros pueden responder a sus preguntas sobre ella. Nuestra página cómo contratar recorre los pasos del contrato desde la solicitud hasta la entrega.
Lo que preguntan los compradores
¿Qué son las pruebas de burn-in de GPU?
Consisten en hacer funcionar servidores GPU nuevos bajo carga sostenida antes de que entren en servicio, para que los fallos de hardware salgan a la luz antes de que lleguen sus cargas de trabajo. Nuestro burn-in es la validación de hardware de NVIDIA para proveedores de inferencia, con las pruebas de HW-1 a HW-5.
¿Podemos hacer primero un periodo de prueba o una prueba de concepto?
No. No ofrecemos periodos de prueba, demostraciones, pruebas de concepto ni alquileres a corto plazo. Cada clúster supera las pruebas de HW-1 a HW-5 antes de la entrega, y usted recibe los resultados en un informe de aceptación.
¿Qué es una prueba NCCL?
Una ejecución de nccl-tests, el benchmark de NVIDIA para la biblioteca NCCL, que mide la velocidad a la que las GPU intercambian datos en operaciones colectivas como all-reduce. Es la prueba HW-1 de nuestro burn-in.
¿Qué herramientas utilizan las pruebas?
nccl-tests con SHARP donde se admite (HW-1), ib_write_bw en cada rail InfiniBand o RoCE (HW-2), pruebas de humo de GPUDirect RDMA y del almacenamiento, incluidas la lectura y la escritura en NVMe (HW-3), nvbandwidth para NVLink y NVSwitch (HW-4) y una prueba de carga sostenida de 24 horas con una carga de inferencia representativa (HW-5).
¿Qué ocurre si un nodo no supera una prueba?
El nodo se pone en cuarentena, se repara o se sustituye, y se vuelve a probar. Entregamos el clúster una vez que el nodo supera la prueba.
Díganos qué necesita ejecutar.
Indíquenos el hardware, el número de servidores, la duración del contrato y la fecha de inicio. Recibirá una propuesta por escrito basada en nuestra especificación de entrega.