Kubernetes gestionado
Instalamos Kubernetes en sus servidores GPU dedicados con el NVIDIA GPU Operator y el Network Operator, y después lo operamos, lo actualizamos, lo monitorizamos y estamos de guardia para atenderlo.
El Kubernetes gestionado de 1Legion funciona en servidores GPU dedicados a usted, no en nodos compartidos. Instalamos el clúster con el NVIDIA GPU Operator y el Network Operator, y después lo operamos, lo actualizamos, lo monitorizamos y estamos de guardia para atenderlo. Su equipo despliega a través de Kubernetes; nosotros mantenemos en funcionamiento la plataforma, las GPU y el fabric que hay debajo.
Kubernetes en servidores GPU bare metal
Dos operadores de NVIDIA instalan el software de GPU y de red en cada nodo, de modo que el hardware aparece en Kubernetes como recursos que sus pods pueden solicitar.
NVIDIA GPU Operator
Gestiona el controlador de NVIDIA, el NVIDIA Container Toolkit, el plugin de dispositivos de Kubernetes, las etiquetas de GPU Feature Discovery y la monitorización basada en DCGM en cada nodo GPU. Los pods solicitan las GPU como nvidia.com/gpu.
NVIDIA Network Operator
Instala el software de red del host: el controlador de red de NVIDIA, los plugins de dispositivos, los plugins CNI y la gestión de direcciones IP, para que los pods puedan usar el fabric RDMA y GPUDirect RDMA.
Los servidores son bare metal, así que no hay hipervisor entre sus pods y las GPU ni cargas de trabajo de otros clientes en los nodos. En un clúster HGX B300, cada nodo GPU aporta 8 GPU con 270 GB de HBM3e cada una, 800 Gb/s de fabric por GPU y al menos 9,2 TB de NVMe local, todo ello disponible solo para sus cargas de trabajo. Los nodos de CPU alojan los servicios que acompañan a las GPU, como el servicio de modelos, el enrutamiento y el procesamiento por lotes, con al menos 6 hilos de hardware y 24 GB de memoria por GPU.
GPU Feature Discovery etiqueta cada nodo con su modelo de GPU, su memoria y su versión del controlador, de modo que un despliegue puede seleccionar los nodos que necesita con un selector de nodos corriente.
Qué significa «gestionado»
Cuatro tareas quedan en nuestras manos mientras gestionamos el clúster: lo operamos, lo actualizamos, lo monitorizamos y respondemos por él a cualquier hora.
Operación
Operamos el plano de control, los dos operadores y cada nodo. Los nodos con fallos fatales de GPU (XID 79, XID 48, ECC de doble bit, fallo de reasignación de filas) se ponen en cuarentena de inmediato.
Actualización
Actualizamos Kubernetes, los operadores y el controlador de GPU conforme a una gestión de cambios por escrito, con un preaviso de al menos 7 días naturales para los trabajos de alto riesgo.
Monitorización
Métricas DCGM de cada GPU, además de telemetría de hardware fuera de banda a través de BMC y Redfish. La telemetría operativa se conserva al menos 30 días, y el historial de incidentes y de estados, al menos 12 meses.
Guardia
Dos vías independientes y probadas para contactar con un técnico de guardia cualificado, 24 horas al día, todos los días. En un plazo de 15 minutos se acusa recibo de los incidentes y se asigna un responsable del incidente.
Las operaciones de red intervienen en un plazo de 15 minutos a cualquier hora, y la ingeniería de instalaciones o las manos remotas, en un plazo de 45 minutos. Los errores XID 13 y XID 31 recurrentes se tratan a partir de un número de repeticiones que acordamos con usted. Hay dos compromisos más que importan en los entrenamientos de larga duración: correlacionamos los bloqueos de NCCL con los eventos del fabric y sustituimos las unidades NVMe antes de que alcancen sus límites de resistencia.
Responsabilidad compartida
Nosotros operamos la plataforma desde el hardware hasta Kubernetes; usted opera lo que despliega sobre ella.
| Área | Qué hace 1Legion | Qué hace usted |
|---|---|---|
| Servidores, alimentación y refrigeración | Detecta y corrige los fallos de hardware, de las instalaciones y de refrigeración | Informa de cualquier anomalía en el canal de Slack compartido |
| Fallos de GPU | Pone en cuarentena de inmediato los nodos con fallos fatales de GPU y mantiene en cuarentena los nodos con sospecha de corrupción silenciosa de datos | Crea checkpoints de sus trabajos para que se reanuden en nodos sanos |
| Kubernetes y software de los nodos | Instala, actualiza y monitoriza Kubernetes, el GPU Operator, el Network Operator y el controlador de GPU | Nos indica de qué versiones depende su software |
| Fabric y perímetro | Opera el fabric este-oeste, la red norte-sur y el perímetro, y aplica los cambios de ACL del perímetro en un plazo de un día hábil | Decide las reglas de ACL del perímetro y qué exponen sus servicios |
| Incidentes | Acusa recibo en un plazo de 15 minutos, asigna un responsable, envía actualizaciones al menos cada 60 minutos y redacta un informe posterior al incidente en un plazo de 7 días desde cualquier incidente que afecte al cliente | Plantea los problemas en el canal compartido o a través de las vías de guardia |
| Cargas de trabajo | Mantiene en servicio los nodos y las GPU en los que se ejecutan | Contenedores, modelos, conjuntos de datos y checkpoints, y los despliegues y trabajos que los utilizan |
| Monitorización | Supervisa el estado del clúster, de los nodos y de las GPU | Supervisa sus propias aplicaciones y modelos |
Actualizaciones y mantenimiento
Todo cambio en el clúster sigue una gestión de cambios por escrito, y el mantenimiento de alto riesgo que no sea de emergencia se anuncia con un preaviso de al menos 7 días naturales.
La regla se aplica a las actualizaciones de Kubernetes, de los dos operadores y del controlador de GPU siempre que sean de alto riesgo, igual que a los trabajos en el hardware. Los trabajos de emergencia, como restablecer el servicio durante un incidente, siguen en cambio el proceso de incidentes. Por qué fallan los entrenamientos de larga duración en la nube compartida muestra lo que una actualización de controlador no anunciada puede hacer a una ejecución en curso. El inventario maestro registra cada nodo, GPU, NIC y unidad, detecta las desviaciones respecto a la línea base acordada y hace visibles para usted los cambios de estado en un plazo de 5 minutos en una exportación legible por máquina. Nuestro acceso fuera de banda a sus servidores está auditado.
Slurm gestionado
Slurm gestionado es la alternativa para los equipos que prefieren planificar su trabajo mediante trabajos por lotes.
Los equipos de investigación que lanzan sus entrenamientos con sbatch y srun, y los ponen en cola por partición y prioridad, suelen preferir Slurm a Kubernetes. Operamos el planificador que prefiera su equipo y lo indicamos en su propuesta. Los servidores, el fabric y el burn-in de HW-1 a HW-5 son los mismos en ambos casos, y también el canal compartido con nuestro responsable de incidentes. Consulte clústeres de GPU para conocer el hardware que hay debajo de ambos.
Cómo se fija el precio del Kubernetes gestionado
El Kubernetes gestionado es un servicio de gestión cuyo precio se suma al del alquiler de los servidores, como una línea propia en su propuesta.
No hay un precio publicado ni registro en autoservicio. Estamos desarrollando nuestro propio software de plataforma para inventario, monitorización y automatización del burn-in. Hoy trabaja con nosotros a través del canal de Slack compartido, un responsable técnico de cuenta designado, el informe de aceptación en la entrega y los informes que le enviamos. Cómo contratar explica las condiciones, la facturación y el proceso de alta.
Lo que preguntan los compradores
¿Qué software de NVIDIA instalan?
El NVIDIA GPU Operator y el NVIDIA Network Operator. Entre los dos gestionan el controlador de GPU, el Container Toolkit, el plugin de dispositivos, GPU Feature Discovery, la monitorización DCGM y el software de red RDMA en cada nodo.
¿Ofrecen Slurm gestionado?
Sí. Slurm gestionado es la alternativa para los equipos que prefieren la planificación por lotes, y su propuesta indica el planificador que operamos para usted.
¿Qué ocurre cuando falla una GPU?
Un nodo con un fallo fatal de GPU, como XID 79, XID 48, un error ECC de doble bit o un fallo de reasignación de filas, se pone en cuarentena de inmediato, y nosotros detectamos y corregimos el fallo.
¿Con cuánta antelación avisan antes de un mantenimiento?
Al menos 7 días naturales para el mantenimiento de alto riesgo que no sea de emergencia, y todo cambio sigue una gestión de cambios por escrito.
¿Hay una consola web para el clúster?
Todavía no. Estamos desarrollando nuestro propio software de plataforma; hoy trabaja con nosotros a través de un canal de Slack compartido, un responsable técnico de cuenta designado e informes por escrito.
¿Cómo se fija el precio del Kubernetes gestionado?
Como un servicio de gestión que se suma al alquiler de los servidores, detallado en su propuesta por escrito. No publicamos precios.
Díganos qué necesita ejecutar.
Indíquenos el hardware, el número de servidores, la duración del contrato y la fecha de inicio. Recibirá una propuesta por escrito basada en nuestra especificación de entrega.