Kubernetes gerenciado
Instalamos o Kubernetes nos seus servidores de GPU dedicados com o NVIDIA GPU Operator e o Network Operator e, depois, o operamos, atualizamos, monitoramos e mantemos plantão para ele.
O Kubernetes gerenciado da 1Legion roda em servidores de GPU dedicados a você, não em nós compartilhados. Instalamos o cluster com o NVIDIA GPU Operator e o Network Operator e, depois, o operamos, atualizamos, monitoramos e mantemos plantão para ele. Sua equipe faz as implantações pelo Kubernetes; mantemos funcionando a plataforma e, sob ela, as GPUs e o fabric.
Kubernetes em servidores de GPU bare metal
Dois operators da NVIDIA instalam o software de GPU e de rede em cada nó, para que o hardware apareça no Kubernetes como recursos que os seus pods podem solicitar.
NVIDIA GPU Operator
Gerencia o driver NVIDIA, o NVIDIA Container Toolkit, o device plugin do Kubernetes, os rótulos do GPU Feature Discovery e o monitoramento baseado em DCGM em cada nó de GPU. Os pods solicitam GPUs como nvidia.com/gpu.
NVIDIA Network Operator
Instala o software de rede do host: o driver de rede NVIDIA, os device plugins, os plugins CNI e o gerenciamento de endereços IP, para que os pods possam usar o fabric RDMA e o GPUDirect RDMA.
Os servidores são bare metal, então não há hipervisor entre os seus pods e as GPUs, nem cargas de trabalho de outros clientes nos nós. Em um cluster HGX B300, cada nó de GPU traz 8 GPUs com 270 GB de HBM3e cada, 800 Gb/s de fabric por GPU e pelo menos 9,2 TB de NVMe local, tudo disponível apenas para as suas cargas de trabalho. Os nós de CPU executam os serviços em torno das GPUs, como serving, roteamento e processamento em lote, com pelo menos 6 threads de hardware e 24 GB de memória por GPU.
O GPU Feature Discovery atribui a cada nó rótulos com o modelo de GPU, a memória e a versão do driver, de modo que uma implantação pode selecionar os nós de que precisa com um seletor de nós comum.
O que significa gerenciado
Quatro tarefas ficam conosco enquanto gerenciamos o cluster: operá-lo, atualizá-lo, monitorá-lo e responder por ele a qualquer hora.
Operar
Operamos o plano de controle, os dois operators e todos os nós. Os nós com falhas fatais de GPU (XID 79, XID 48, ECC de bit duplo, falha de remapeamento de linhas) são colocados em quarentena imediatamente.
Atualizar
Atualizamos o Kubernetes, os operators e o driver de GPU sob gestão de mudanças por escrito, com aviso prévio de pelo menos 7 dias corridos para trabalhos de alto risco.
Monitorar
Métricas DCGM de cada GPU, além de telemetria de hardware fora de banda via BMC e Redfish. A telemetria operacional é mantida por pelo menos 30 dias, e o histórico de incidentes e de estado, por pelo menos 12 meses.
Plantão
Duas formas independentes e testadas de contatar um plantonista qualificado, 24 horas por dia, todos os dias. Os incidentes são reconhecidos e um comandante é designado em até 15 minutos.
As operações de rede entram em ação em até 15 minutos, a qualquer hora, e a engenharia das instalações ou o remote hands, em até 45 minutos. Erros recorrentes XID 13 e XID 31 são tratados após um número de ocorrências que acordamos com você. Dois outros compromissos importam para execuções longas de treinamento: correlacionamos travamentos do NCCL com eventos do fabric e substituímos os discos NVMe antes que atinjam seus limites de durabilidade.
Responsabilidade compartilhada
Operamos a plataforma do hardware até o Kubernetes; você opera o que implanta nela.
| Área | A 1Legion faz | Você faz |
|---|---|---|
| Servidores, energia e refrigeração | Encontra e corrige falhas de hardware, das instalações e de refrigeração | Relata qualquer anomalia no canal compartilhado no Slack |
| Falhas de GPU | Coloca em quarentena imediatamente os nós com falhas fatais de GPU e mantém em quarentena os nós com suspeita de corrupção silenciosa de dados | Faz checkpoint das tarefas para que sejam retomadas em nós saudáveis |
| Kubernetes e software dos nós | Instala, atualiza e monitora o Kubernetes, o GPU Operator, o Network Operator e o driver de GPU | Informa de quais versões o seu software depende |
| Fabric e borda | Opera o fabric leste-oeste, a rede norte-sul e a borda, e aplica alterações de ACL de borda em até um dia útil | Decide as regras de ACL de borda e o que os seus serviços expõem |
| Incidentes | Reconhece em até 15 minutos, designa um comandante, envia atualizações pelo menos a cada 60 minutos e redige um relatório pós-incidente em até 7 dias após qualquer incidente com impacto para o cliente | Comunica problemas no canal compartilhado ou pelas rotas de plantão |
| Cargas de trabalho | Mantém em operação os nós e as GPUs em que elas rodam | Contêineres, modelos, datasets e checkpoints, e as implantações e tarefas que os usam |
| Monitoramento | Monitora a saúde do cluster, dos nós e das GPUs | Monitora suas próprias aplicações e modelos |
Atualizações e manutenção
Toda alteração no cluster segue a gestão de mudanças por escrito, e a manutenção de alto risco e não emergencial tem aviso prévio de pelo menos 7 dias corridos.
A regra se aplica às atualizações do Kubernetes, dos dois operators e do driver de GPU sempre que forem de alto risco, assim como se aplica a trabalhos no hardware. Trabalhos emergenciais, como restaurar o serviço durante um incidente, seguem o processo de incidentes. Por que execuções longas de treinamento falham em nuvem compartilhada mostra o que uma atualização de driver não anunciada pode causar a uma execução em andamento. O inventário de referência registra cada nó, GPU, NIC e disco, detecta divergências em relação à linha de base acordada e torna as mudanças de estado visíveis para você em até 5 minutos, em uma exportação legível por máquina. Nosso acesso fora de banda aos seus servidores é auditado.
Slurm gerenciado
O Slurm gerenciado é a alternativa para equipes que preferem agendar o trabalho como tarefas em lote.
Equipes de pesquisa que submetem execuções de treinamento com sbatch e srun, e as enfileiram por partição e prioridade, costumam preferir o Slurm ao Kubernetes. Operamos o agendador que a sua equipe preferir e o indicamos na sua proposta. Os servidores, o fabric e o burn-in HW-1 a HW-5 são os mesmos nos dois casos, assim como o canal compartilhado com o nosso comandante de incidentes. Veja Clusters de GPU para conhecer o hardware por trás dos dois.
Como o Kubernetes gerenciado é cobrado
O Kubernetes gerenciado é um serviço de gerenciamento cobrado além do aluguel dos servidores, como uma linha própria na sua proposta.
Não há tarifa publicada nem cadastro por autoatendimento. Estamos desenvolvendo nosso próprio software de plataforma para inventário, monitoramento e automação do burn-in. Hoje você trabalha conosco pelo canal compartilhado no Slack, com um responsável técnico designado para a conta, o relatório de aceite na entrega e os relatórios que enviamos. Como contratar explica condições, faturamento e onboarding.
Perguntas que os compradores fazem
Quais softwares da NVIDIA vocês instalam?
O NVIDIA GPU Operator e o NVIDIA Network Operator. Juntos, eles gerenciam o driver de GPU, o container toolkit, o device plugin, o GPU Feature Discovery, o monitoramento DCGM e o software de rede RDMA em cada nó.
Vocês oferecem Slurm gerenciado?
Sim. O Slurm gerenciado é a alternativa para equipes que preferem o agendamento em lote, e sua proposta indica o agendador que operamos para você.
O que acontece quando uma GPU falha?
Um nó com falha fatal de GPU, como XID 79, XID 48, um erro de ECC de bit duplo ou uma falha de remapeamento de linhas, é colocado em quarentena imediatamente, e encontramos e corrigimos a falha.
Com quanta antecedência vocês avisam sobre manutenções?
Pelo menos 7 dias corridos para manutenção de alto risco e não emergencial, e toda alteração segue a gestão de mudanças por escrito.
Existe um console web para o cluster?
Ainda não. Estamos desenvolvendo nosso próprio software de plataforma; hoje você trabalha conosco por um canal compartilhado no Slack, com um responsável técnico designado para a conta e relatórios por escrito.
Como o Kubernetes gerenciado é cobrado?
Como um serviço de gerenciamento além do aluguel dos servidores, definido na sua proposta por escrito. Não publicamos preços.
Conte o que você precisa rodar.
Informe o hardware, o número de servidores, o prazo e a data de início. Você recebe uma proposta por escrito baseada na nossa especificação de entrega.