Armazenamento e rede
Pelo menos 1 TB de armazenamento utilizável por GPU, uma rede norte-sul dedicada, dois provedores de trânsito, filtragem de DDoS e seu próprio espaço IP e ASN, tudo definido na nossa especificação de entrega.
Na 1Legion, o armazenamento e a rede dos clusters de GPU são especificados com o mesmo rigor que as GPUs: armazenamento dimensionado por GPU, uma rede norte-sul dedicada, uma borda de internet redundante com filtragem de DDoS e espaço para seus próprios endereços e ASN. Todos os números desta página vêm da nossa especificação de entrega para clusters HGX B300, e sua proposta lista eventuais desvios numerados. Para outros servidores, o armazenamento e a rede são configurados segundo os seus requisitos e confirmados na sua proposta.
Duas opções de armazenamento
Escolha um appliance de armazenamento gerenciado pelo fornecedor ou nós de armazenamento que executam o seu próprio software; ambos são dimensionados pelo número de GPUs do cluster.
| Opção A: appliance de armazenamento | Opção B: nós de armazenamento | |
|---|---|---|
| O que você recebe | Um appliance gerenciado pelo fornecedor, da VAST Data, WEKA ou DDN, à sua escolha | Nós de armazenamento para seu próprio software de armazenamento |
| Capacidade | Pelo menos 1 TB utilizável por GPU | Pelo menos 3 TB brutos por GPU |
| Discos | O projeto com suporte do fornecedor | NVMe PCIe 5.0 de 30,72 TB, com suporte a drives com autocriptografia |
| Tamanhos de referência | 512 TB, 1.024 TB e 2.304 TB utilizáveis para 64, 128 e 288 nós | 9, 17 e 38 nós, com um mínimo de 9 |
| Serviço | Escalonamento 24/7 com o fornecedor, throughput e latência definidos em contrato por camada, uso e cotas visíveis, recuperação testada | Operamos o hardware e substituímos os drives NVMe antes dos limites de durabilidade; você opera o software de armazenamento |
A capacidade bruta é contada antes da proteção de dados do seu software de armazenamento; a capacidade utilizável é o que o appliance entrega depois da proteção de dados do fornecedor. A opção A é adequada para equipes que querem um único fornecedor responsável por throughput, latência e recuperação. A opção B é adequada para equipes que já operam seu próprio software de armazenamento e querem os drives e os nós, e não um sistema gerenciado.
Cada nó de GPU também tem seu próprio NVMe: pelo menos 9,2 TB brutos para dados locais, mais de quatro vezes os 2,1 TB de memória de GPU do nó, além de dois drives de boot de 1 TB espelhados (desejável). O teste de burn-in HW-3 abrange GPUDirect RDMA e smoke tests de armazenamento, incluindo leitura e gravação em NVMe.
No treinamento, o tamanho e a frequência dos checkpoints definem o throughput de gravação necessário. Por que treinamentos de longa duração falham em nuvem compartilhada aborda I/O de armazenamento e checkpointing em execuções longas.
Rede norte-sul
A rede norte-sul conecta cada nó ao armazenamento, aos serviços de CPU e à borda e, assim como o fabric de GPU, transporta apenas o seu tráfego.
- Por nó: 400 Gb/s desejável, 200 Gb/s no mínimo, por meio de NICs de frontend NVIDIA BlueField-3 com 2 x 400 Gb/s (desejável) ou 2 x 200 Gb/s.
- Sobreassinatura: nenhuma nos switches leaf de armazenamento, de modo que seus uplinks correspondem à largura de banda de todas as portas abaixo deles; abaixo de 4:1 nos switches leaf de GPU.
- Protocolos: compatível com RoCEv2, para que o tráfego de armazenamento e de serviços possa usar RDMA sobre Ethernet roteada, com jumbo frames de MTU 9000.
- Exclusividade: dedicada a um único cliente e separada do fabric de GPU leste-oeste descrito em clusters de GPU.
Borda de internet e proteção contra DDoS
Seu cluster acessa a internet por dois provedores de trânsito independentes e dois roteadores de borda redundantes, com filtragem de DDoS ativada via BGP em até 5 minutos.
- Trânsito: dois provedores independentes, com 100 Gb/s por circuito, em rotas fisicamente distintas, para que um único rompimento de fibra não derrube os dois.
- Roteamento: eBGP com BFD, para que uma rota com falha seja detectada e o tráfego passe por failover em até um minuto.
- Roteadores de borda: dois, redundantes, com alimentação A e B.
- ACLs de borda: escritas segundo suas regras, com alterações feitas em até um dia útil.
- Proteção contra DDoS: filtragem volumétrica nas camadas 3 e 4 por um provedor consolidado, ativada via BGP em até 5 minutos, com pelo menos 1 Tb/s de capacidade.
NAT e endereços públicos
O tráfego de saída passa por um par de NAT redundante, em endereços que só você usa, e os serviços de entrada recebem endereços públicos dedicados com failover em até 5 segundos.
NAT e saída
Um par de NAT redundante de alta disponibilidade processa pelo menos 10 milhões de sessões simultâneas em endereços SNAT dedicados, normalmente quatro, para que parceiros possam incluir seu tráfego de saída em listas de permissões por endereço.
Endereços públicos de serviço
Você recebe endereços públicos dedicados, normalmente oito, e pode anunciar os VIPs dos seus serviços via BGP, com failover em até 5 segundos. O IPv6 funciona em dual stack junto com o IPv4.
Traga seu próprio espaço IP e ASN
Se você tem seu próprio espaço IP e ASN, nossa borda pode anunciá-los, para que seus serviços mantenham os endereços que seus usuários e parceiros já conhecem.
- Seus prefixos e ASN: a borda anuncia prefixos de propriedade do cliente e o seu ASN.
- RPKI: as autorizações de origem de rota (ROAs) dos seus prefixos são respeitadas.
- Segurança das sessões: as sessões BGP são autenticadas.
Telemetria de rede
Os dois roteadores de borda exportam registros de fluxo para o seu coletor em NetFlow v9 ou IPFIX, para que suas equipes de rede e segurança vejam o que passa pela borda.
Também coletamos telemetria de hardware fora de banda via BMC e Redfish, e telemetria de rede e das instalações quando disponível. A telemetria operacional é mantida por pelo menos 30 dias, e o histórico de incidentes e de estado por pelo menos 12 meses. Segurança e conformidade aborda o controle de acesso e nosso acesso fora de banda auditado, e a página Compromissos operacionais lista todos os tempos de resposta.
O que o valor cobre
O valor cobre os servidores e as redes que os conectam. O armazenamento e os nós em torno das GPUs têm preço em linhas próprias, para que você pague pelo que o seu projeto usa.
| Item | Onde aparece |
|---|---|
| Servidores de GPU, com suas CPUs, memória, drives NVMe e placas de rede | Incluído no valor |
| Fabric nos clusters HGX B300, 800 Gb/s por GPU | Incluído no valor |
| Rede norte-sul, construída segundo a especificação de entrega | Incluído no valor |
| Rede de borda: dois provedores de trânsito, roteadores de borda redundantes, endereços públicos dedicados e filtragem de DDoS | Incluído em todo cluster HGX B300 |
| Largura de banda de internet definida na sua proposta, sem taxas de saída de dados | Incluído no valor |
| Appliance de armazenamento da VAST Data, WEKA ou DDN, ou nós de armazenamento | Linha própria na sua proposta |
| NVMe local além dos drives padrão do servidor | Linha própria na sua proposta |
| Nós de CPU e de plano de controle | Linhas próprias na sua proposta |
| Mais largura de banda e projetos de rede além da especificação de entrega | Cotado na sua proposta |
Como contratar explica condições, faturamento e o restante do conteúdo de uma proposta.
Perguntas que os compradores fazem
Quais fornecedores de armazenamento vocês oferecem?
VAST Data, WEKA ou DDN como appliance gerenciado pelo fornecedor, à sua escolha, ou nós de armazenamento que executam o seu próprio software de armazenamento.
Quanto armazenamento vem com um cluster HGX B300?
Pelo menos 1 TB utilizável por GPU no appliance, o que equivale a 512 TB em um cluster de 64 nós, ou pelo menos 3 TB brutos por GPU nos nós de armazenamento. Cada nó de GPU também tem pelo menos 9,2 TB brutos de NVMe local.
Vocês cobram taxas de saída de dados?
Não. Os clusters são faturados com um valor fixo durante o prazo, sem taxas de saída de dados.
Podemos trazer nossos próprios endereços IP e ASN?
Sim. A borda pode anunciar seus prefixos e o seu ASN, respeita as ROAs de RPKI e autentica as sessões BGP.
Em quanto tempo a proteção contra DDoS começa a atuar?
A filtragem volumétrica nas camadas 3 e 4 é ativada via BGP em até 5 minutos, com pelo menos 1 Tb/s de capacidade.
Isso vale para todos os servidores?
Vale para os clusters HGX B300 construídos segundo nossa especificação de entrega. Para outros servidores, o armazenamento e a rede são configurados segundo os seus requisitos e confirmados na sua proposta.
Conte o que você precisa rodar.
Informe o hardware, o número de servidores, o prazo e a data de início. Você recebe uma proposta por escrito baseada na nossa especificação de entrega.