Glossário de infraestrutura de GPU

Relatório de aceiteAcceptance report

O documento que registra os testes em que um servidor ou cluster foi aprovado antes da entrega, com os respectivos resultados. Todo cluster da 1Legion vem com um relatório que cobre os testes de validação de hardware HW-1 a HW-5 da NVIDIA; veja burn-in e aceite.

ASN

Número de sistema autônomo (autonomous system number): o identificador, atribuído por meio de um registro regional de internet, que uma rede usa para trocar rotas com outras redes via BGP. Nos clusters HGX B300 construídos segundo nossa especificação de entrega, a borda pode anunciar seus próprios prefixos IP sob o seu próprio ASN; veja armazenamento e rede.

Bare metal

Um servidor físico dedicado a um único cliente, sem hipervisor entre a carga de trabalho e o hardware, de modo que o cliente tem à disposição todas as suas CPUs, memória, GPUs e interfaces de rede. Todos os servidores de GPU da 1Legion são alugados dessa forma, como servidores inteiros.

BGP

Border Gateway Protocol, o protocolo de roteamento que as redes usam para trocar informações de alcançabilidade na internet. A borda dos nossos HGX B300 executa BGP externo (eBGP) com cada provedor de trânsito e usa a detecção de encaminhamento bidirecional (BFD) para fazer o failover em até um minuto quando um link cai; veja armazenamento e rede.

Blackwell Ultra

A arquitetura de GPU da NVIDIA presente no HGX B300 e no GB300 NVL72. Em comparação com a Blackwell (B200), tem mais HBM3e por GPU e mais throughput de FP4 denso, mas muito menos throughput de FP64, por isso foi feita para treinamento e inferência de IA, e não para HPC de precisão dupla.

BlueField-3

Uma unidade de processamento de dados (DPU) da NVIDIA: um adaptador de rede com núcleos Arm próprios, capaz de tirar da CPU do host o trabalho de rede, armazenamento e segurança. Nossa especificação de entrega do HGX B300 usa a BlueField-3 como interface de rede de frontend dos nós de GPU e dos nós de CPU; nos nós de GPU, 2 x 400 Gb/s é o desejável e 2 x 200 Gb/s é o mínimo.

Burn-in

Operar hardware novo sob carga constante antes de ele entrar em operação, para que as falhas iniciais aconteçam antes da chegada da sua carga de trabalho. A 1Legion submete todo cluster a burn-in com os testes de validação de hardware HW-1 a HW-5 da NVIDIA, incluindo um teste contínuo de 24 horas sob carga de inferência representativa; veja burn-in e aceite.

Colocation

Alugar espaço, energia, refrigeração e conectividade em um data center para servidores que são seus, muitas vezes com preço por kW de potência. A 1Legion revende colocation em suas instalações parceiras com prazos plurianuais; veja colocation e operações.

ConnectX-8

Uma SuperNIC da NVIDIA com até 800 Gb/s de largura de banda, que opera com InfiniBand ou Ethernet. Nossa especificação de entrega dá preferência a ela na rede de backend (leste-oeste) dos nós HGX B300, com 800 Gb/s por GPU.

Plano de controleControl plane

Os servidores que executam os serviços de gerenciamento de um cluster, como o servidor de API do Kubernetes e o etcd ou o controlador do Slurm, mantidos separados dos nós que executam as cargas de trabalho. Nossos clusters HGX B300 têm seis nós de plano de controle para cada 2.304 GPUs, distribuídos em dois racks; veja a especificação de entrega.

Nó de CPUCPU node

Um servidor sem GPUs que executa os serviços em torno dos nós de GPU, como front-ends para servir modelos, roteamento de requisições e jobs em lote. Nossos clusters HGX B300 oferecem pelo menos 6 threads de hardware e 24 GB de memória em nós de CPU para cada GPU do cluster; veja clusters de GPU.

Tier de data centerData center tier

Uma classificação do nível de redundância da energia e da refrigeração de um data center. A mais conhecida é a do Uptime Institute, de Tier I a Tier IV, certificada separadamente para os documentos de projeto, a instalação construída e a sustentabilidade operacional, enquanto a TIA-942 e a EN 50600 têm suas próprias classificações de quatro níveis; veja segurança e conformidade.

Filtragem de DDoSDDoS scrubbing

Enviar o tráfego pela capacidade de filtragem de um provedor durante um ataque distribuído de negação de serviço, para que o tráfego do ataque seja removido e apenas o tráfego limpo chegue à rede. Na nossa especificação do HGX B300, a filtragem volumétrica de camadas 3 e 4 é ativada via BGP em até 5 minutos e tem capacidade de pelo menos 1 Tb/s; veja armazenamento e rede.

Pagamento de entradaDown payment

O valor que um cliente paga ao assinar um contrato. A 1Legion recebe um pagamento de entrada na assinatura e depois fatura o saldo mensalmente, a um único valor fixo durante todo o prazo, e alocações maiores podem exigir garantia de pagamento, como uma garantia bancária ou uma carta de crédito; veja como contratar.

Fabric leste-oesteEast-west fabric

A rede entre os nós de GPU de um cluster, que transporta as operações coletivas de treinamento e inferência distribuídos. Nos nossos clusters HGX B300, ela é otimizada para rails, totalmente não bloqueante, opera a 800 Gb/s por GPU e é dedicada a um único cliente; veja clusters de GPU.

Erro de ECCECC error

Um erro de memória detectado por código de correção de erros. Um erro de bit único é corrigido no local, mas um erro de bit duplo não pode ser corrigido, por isso a 1Legion trata um erro desse tipo em uma GPU como falha fatal e coloca o hardware em quarentena imediatamente; veja compromissos operacionais.

Saída de dadosEgress

Dados que saem da rede de um provedor, como resultados, checkpoints ou mídia que você transfere para fora. Muitas nuvens cobram por gigabyte; os contratos da 1Legion não têm taxas de saída de dados, conforme explicado em como contratar.

FP4

Um formato de ponto flutuante de 4 bits que armazena os pesos do modelo e, em alguns casos, as ativações na metade da memória do FP8, com alguma perda de precisão. Os tensor cores da NVIDIA Blackwell o executam em hardware, inclusive a variante NVFP4 da NVIDIA, que adiciona fatores de escala de granularidade fina para preservar a acurácia; veja servidores de GPU para inferência de IA.

FP8

Um formato de ponto flutuante de 8 bits, com as variantes E4M3 e E5M2, que reduz pela metade a memória por valor em comparação com FP16 ou BF16. Os tensor cores das GPUs NVIDIA Ada Lovelace, Hopper e Blackwell o executam em treinamento e inferência; veja servidores de GPU para inferência de IA.

GB300 NVL72

O sistema em escala de rack da NVIDIA que reúne 72 GPUs Blackwell Ultra e 36 CPUs Grace em um único domínio NVLink, com refrigeração inteiramente líquida. A 1Legion o aluga como um rack inteiro de 72 GPUs, mediante reserva; veja NVIDIA GB300 NVL72.

GDDR7

A geração de memória gráfica das placas RTX Blackwell da NVIDIA, montada na placa de circuito ao redor da GPU, e não empilhada ao lado dela como a HBM. A RTX PRO 6000 Blackwell tem 96 GB de GDDR7 e a GeForce RTX 5090 tem 32 GB.

GPU Operator

O operador de Kubernetes da NVIDIA que instala e gerencia o driver de GPU, o container toolkit, o device plugin e os componentes de monitoramento em todos os nós de GPU. Nosso serviço de Kubernetes gerenciado o instala junto com o NVIDIA Network Operator.

GPUDirect RDMA

Uma tecnologia da NVIDIA que permite a um adaptador de rede ler e gravar diretamente na memória da GPU, sem copiar os dados pela memória do host. Ela reduz a latência e a carga da CPU no tráfego entre GPUs de nós diferentes e com o armazenamento, e o teste HW-3 a verifica antes da entrega; veja burn-in e aceite.

HBM3e

Uma versão estendida do padrão de memória de alta largura de banda HBM3: pilhas de dies de DRAM no mesmo encapsulamento da GPU, que oferecem vários terabytes por segundo de largura de banda por GPU. A NVIDIA especifica o HGX B300 com 270 GB de HBM3e por GPU, 2,1 TB por servidor de 8 GPUs; veja NVIDIA HGX B300.

HGX

A plataforma de servidor da NVIDIA com GPUs SXM em uma única placa-base, conectadas por NVLink por meio de chips NVSwitch, que os fabricantes de servidores incorporam a sistemas completos; as placas atuais têm oito GPUs. A 1Legion aluga sistemas HGX B300 e HGX B200 como servidores inteiros de 8 GPUs.

Comandante de incidentesIncident commander

A pessoa que lidera a resposta a um incidente: coordena os responsáveis pela resposta, decide as ações e responde pela comunicação até o serviço ser restabelecido. A 1Legion reconhece o incidente e designa um comandante de incidentes em até 15 minutos, e depois envia atualizações pelo menos a cada 60 minutos; veja compromissos operacionais.

InfiniBand

Uma tecnologia de rede sem perdas e de baixa latência, com acesso direto remoto à memória (RDMA) e computação na rede integrados, muito usada nos fabrics de clusters de GPU. Os switches Quantum da NVIDIA a implementam, e nossos clusters HGX B300 aceitam Quantum InfiniBand no fabric leste-oeste, com preferência por Ethernet Spectrum-X ou Broadcom Tomahawk 6.

ISO 27001

ISO/IEC 27001, a norma internacional para sistemas de gestão de segurança da informação, segundo a qual um organismo acreditado certifica uma organização após uma auditoria externa. Estamos trabalhando para obter o SOC 2 e a ISO 27001. Nossa documentação de segurança atual está disponível sob NDA.

Cache KVKV cache

As chaves e os valores que um modelo transformer armazena para cada token do seu contexto, para não precisar recalculá-los a cada novo token que gera. Ele cresce com o tamanho do contexto e com o número de requisições simultâneas, por isso o dimensionamento para inferência precisa reservar memória de GPU para o cache, além dos pesos; veja servidores de GPU para inferência de IA.

KYC

Know your customer (conheça seu cliente): as verificações que um provedor faz para confirmar quem é o cliente, quem o possui e o controla e quem assina por ele. Na 1Legion, a empresa que vai usar os servidores preenche um formulário de onboarding e due diligence do cliente, incluindo seus beneficiários finais, antes de assinar; veja como contratar.

Refrigeração líquidaLiquid cooling

Remover o calor com um líquido em vez de ar. A refrigeração líquida direct-to-chip bombeia o líquido refrigerante por placas frias sobre as GPUs e as CPUs e é obrigatória em sistemas em escala de rack como o GB300 NVL72, enquanto os servidores HGX B300 da 1Legion hoje são refrigerados a ar; veja nossos data centers.

Kubernetes gerenciadoManaged Kubernetes

Um serviço em que o provedor instala, opera, atualiza e monitora um cluster Kubernetes e fica de plantão para ele, enquanto você executa nele suas cargas de trabalho. A 1Legion o instala nos seus servidores dedicados e oferece Slurm gerenciado como alternativa; veja Kubernetes gerenciado.

MTU

Maximum transmission unit (unidade máxima de transmissão): o maior pacote que um link de rede transporta sem fragmentá-lo. A Ethernet padrão usa 1.500 bytes, as redes de data center costumam usar jumbo frames de 9.000 bytes para reduzir o overhead por pacote, e nossa especificação do HGX B300 define MTU 9000 na rede norte-sul; veja armazenamento e rede.

NCCL

A NVIDIA Collective Communications Library, que executa all-reduce, all-gather e outras operações coletivas entre GPUs via NVLink, InfiniBand e Ethernet. Frameworks como o PyTorch a usam no treinamento distribuído, e o teste HW-1 mede o throughput da NCCL com o nccl-tests antes da entrega; veja burn-in e aceite.

Neocloud

Um provedor de nuvem especializado em computação de GPU para IA, geralmente com capacidade dedicada ou bare metal, diferente das nuvens de hiperescala de uso geral. Para empresas que querem se tornar uma neocloud, a 1Legion oferece colocation, operações 24/7 e clientes; veja colocation e operações.

Rede norte-sulNorth-south network

A rede que conecta um cluster ao armazenamento, aos serviços externos a ele e à internet, ao contrário do fabric leste-oeste entre os nós de GPU. Nossa especificação do HGX B300 prefere 400 Gb/s por nó, sem sobreassinatura nos switches leaf de armazenamento e com menos de 4:1 nos switches leaf de GPU; veja armazenamento e rede.

NVLink

A interconexão direta GPU a GPU da NVIDIA. O NVLink de quinta geração oferece a cada GPU Blackwell 1,8 TB/s de largura de banda para as outras GPUs do seu domínio NVLink, contra 256 GB/s de uma conexão PCIe Gen6 x16; veja NVIDIA HGX B300.

NVSwitch

O chip de switch da NVIDIA que conecta as portas NVLink de muitas GPUs, para que qualquer GPU alcance qualquer outra com a largura de banda NVLink completa. As placas HGX têm chips NVSwitch para as suas oito GPUs, o GB300 NVL72 reúne 72 GPUs por meio de bandejas de switches NVLink, e o teste HW-4 verifica o número de links e a largura de banda com o nvbandwidth; veja burn-in e aceite.

Gerenciamento fora de bandaOut-of-band management

Uma rede e um controlador separados, o baseboard management controller (BMC), para gerenciar o hardware de um servidor independentemente do sistema operacional, por meio de interfaces como IPMI e Redfish. Esse gerenciamento cuida do controle de energia, dos consoles, do firmware e da telemetria de hardware, e nossos compromissos operacionais exigem que o acesso fora de banda seja auditado; veja compromissos operacionais.

SobreassinaturaOversubscription

A razão entre a largura de banda que os servidores podem enviar a um switch e a largura de banda que o switch tem em direção ao restante da rede; com 1:1, a rede é não bloqueante. Nossa especificação do HGX B300 não permite sobreassinatura nos switches leaf de armazenamento e admite menos de 4:1 nos switches leaf de GPU; veja armazenamento e rede.

Servidor PCIePCIe server

Um servidor cujas GPUs são placas de expansão em slots PCI Express, e não módulos SXM em uma placa-base HGX, de modo que as GPUs se comunicam via PCIe e pela rede, e não por um domínio NVLink completo. A 1Legion aluga servidores PCIe como os de RTX PRO 6000 Blackwell e L40S, na forma de servidores inteiros de 8 GPUs, e os de RTX 4000 Ada e RTX A4000, na forma de servidores de 4 GPUs; veja servidores de GPU.

Relatório pós-incidentePostmortem

Uma análise por escrito, feita após um incidente, que expõe a cronologia, a causa raiz, o impacto e as ações que vão evitar que ele se repita. A 1Legion entrega um relatório em até 7 dias corridos após cada incidente com impacto para clientes; veja compromissos operacionais.

QuarentenaQuarantine

Tirar de operação um nó suspeito, para que nenhuma carga de trabalho rode nele até que seja reparado ou substituído e testado novamente. A 1Legion coloca o hardware em quarentena imediatamente após falhas fatais de GPU (XID 79, XID 48, erros de ECC de bit duplo e falhas de remapeamento de linhas) e mantém em quarentena os nós suspeitos de corrupção silenciosa de dados; veja compromissos operacionais.

Densidade de rackRack density

A potência, em kW, que um data center consegue fornecer a um rack e remover em forma de calor. É o número-chave para hospedar GPUs: planejamos cerca de 14 kW por nó HGX B300, e a 1Legion pede a cada instalação um máximo contratual de kW por rack; veja colocation e operações.

Fabric otimizado para railsRail-optimized fabric

Uma rede de cluster em que a interface de rede da GPU número n de cada servidor se conecta ao mesmo switch leaf, chamado de rail, para que o tráfego entre GPUs de mesmo número em servidores diferentes atravesse um único switch. Nossos clusters de GPU usam um fabric leste-oeste otimizado para rails e totalmente não bloqueante.

Remote hands

Técnicos do data center que fazem trabalho físico nos servidores em nome do proprietário, como trocar discos, reencaixar cabos ou substituir peças. A 1Legion se compromete a ter a engenharia da instalação ou o remote hands atuando em uma falha em até 45 minutos; veja compromissos operacionais.

RoCEv2

RDMA over Converged Ethernet, versão 2: acesso direto remoto à memória transportado em pacotes UDP/IP, para que possa ser roteado em uma rede Ethernet. Exige uma rede sem perdas ou com controle de congestionamento, e nossa especificação do HGX B300 exige que a rede norte-sul seja compatível com RoCEv2; veja armazenamento e rede.

RPKI

Resource Public Key Infrastructure: registros assinados, chamados autorizações de origem de rota (ROAs), que indicam qual ASN pode originar um prefixo IP, para que os roteadores possam rejeitar rotas sequestradas ou equivocadas. Nossa borda respeita as ROAs do RPKI ao anunciar prefixos de propriedade do cliente; veja armazenamento e rede.

SHARP

O Scalable Hierarchical Aggregation and Reduction Protocol da NVIDIA, que executa reduções como all-reduce dentro dos switches de rede, e não nas GPUs. Ele roda nos switches NVIDIA Quantum InfiniBand e, como NVLink SHARP, no NVSwitch, e o teste HW-1 o utiliza quando o fabric oferece suporte; veja burn-in e aceite.

Corrupção silenciosa de dadosSilent data corruption

Uma falha de hardware que produz resultados errados sem gerar um erro, por exemplo por causa de uma GPU ou de uma célula de memória defeituosa. Como nada trava, ela é detectada pela verificação dos resultados, e a 1Legion mantém em quarentena qualquer nó suspeito de apresentá-la; veja compromissos operacionais.

Slurm

Um gerenciador de cargas de trabalho de código aberto que enfileira e agenda jobs em lote em um cluster, muito usado em computação de alto desempenho e em grandes execuções de treinamento. A 1Legion oferece Slurm gerenciado como alternativa ao Kubernetes gerenciado.

SOC 2

Um relatório de asseguração em que um auditor independente examina os controles de uma organização de serviços em relação aos Trust Services Criteria do AICPA; um relatório Tipo 2 também testa como os controles funcionaram ao longo de um período. Estamos trabalhando para obter o SOC 2 e a ISO 27001. Nossa documentação de segurança atual está disponível sob NDA.

Spectrum-X

A plataforma de rede Ethernet da NVIDIA para IA, que combina switches NVIDIA Spectrum com SuperNICs da NVIDIA para adicionar roteamento adaptativo e controle de congestionamento ao tráfego RoCE. Nossa especificação do HGX B300 prefere Spectrum-X ou Broadcom Tomahawk 6 para o fabric leste-oeste; veja clusters de GPU.

Take-or-pay

Um contrato em que o comprador se compromete a pagar por uma quantidade definida de capacidade durante todo o prazo, use ou não toda ela, em troca de capacidade reservada exclusivamente para ele. Os contratos de servidores de GPU da 1Legion comprometem as duas partes por 36, 48 ou 60 meses a um único valor fixo, faturado mensalmente após um pagamento de entrada; veja como contratar.

Tensor core

Uma unidade dentro das GPUs NVIDIA que executa operações de multiplicação e acumulação de matrizes, a matemática central das redes neurais, com throughput muito maior que o dos núcleos CUDA de uso geral. Cada geração adiciona formatos de menor precisão: Hopper e Ada Lovelace adicionaram FP8, e Blackwell adicionou FP6 e FP4; veja servidores de GPU.

Tier III

O tier do Uptime Institute para um data center com manutenibilidade concorrente, em que qualquer componente dos caminhos de energia e refrigeração pode ser retirado para manutenção planejada sem desligar os equipamentos de TI. A 1Legion pede às instalações a documentação de projeto Tier III e que qualquer certificação do Uptime Institute seja informada com precisão, sob NDA; veja segurança e conformidade.

Provedor de trânsitoTransit provider

Um operador de rede que conecta a rede de um cliente ao restante da internet e transporta o tráfego dela de e para outras redes via BGP. Nossa especificação do HGX B300 usa dois provedores de trânsito independentes, com 100 Gb/s por circuito em caminhos fisicamente distintos; veja armazenamento e rede.

Vera Rubin

A plataforma da NVIDIA que sucede a Blackwell e combina a GPU Rubin (288 GB de HBM4) com a CPU Vera, construída como o rack Vera Rubin NVL72 e como servidores HGX Rubin NVL8 de 8 GPUs. A 1Legion tem servidores Rubin encomendados e aceita reservas; veja NVIDIA Vera Rubin.

Erro XIDXID error

Um código de erro que o driver da NVIDIA grava no log do sistema quando ocorre uma falha de GPU, numerado por tipo. Os erros XID 79 (GPU caiu do barramento) e XID 48 (erro de ECC de bit duplo) são fatais, enquanto XID 13 e XID 31 costumam ser causados pela aplicação, por isso a 1Legion age sobre eles quando se repetem além de uma quantidade acordada; veja compromissos operacionais.