1Legion GPU 클러스터는 단일 고객 전용의 완전한 NVIDIA HGX B300 시스템으로, GPU 서버, CPU 노드, 컨트롤 플레인, 스토리지, 논블로킹 동서 패브릭, 남북 네트워크 및 인터넷 엣지로 구성됩니다. 1Legion은 공개된 납품 사양서에 따라 클러스터를 구축하고, NVIDIA의 하드웨어 검증 테스트로 번인 테스트를 실시하며, 36~60개월 약정 기간 전체에 걸쳐 운영합니다.
전용 AI 클러스터의 구성 요소
GPU부터 남북 네트워크까지 클러스터의 모든 계층은 단일 고객만을 위해 사용되며, 모든 계층의 사양은 서명하시기 전에 서면으로 명시됩니다.
| 노드 | 역할 | 사양 |
|---|---|---|
| GPU 노드 | 귀사의 학습 및 추론 실행 | NVIDIA HGX B300, GPU 8개(각 HBM3e 270 GB); vCPU 최소 128개; 시스템 메모리 3 TB 권장, 최소 1.92 TB; 로컬 NVMe 원시 용량 최소 9.2 TB; NVIDIA ConnectX-8 기반 GPU당 800 Gb/s(권장); NVIDIA BlueField-3 프론트엔드 2 x 400 Gb/s(권장); OEM 권장에 따른 공랭식 |
| CPU 노드 | GPU 주변 서비스 실행: 서빙, 라우팅 및 배치 | x86, 기본 클럭 3 GHz 초과의 vCPU 최소 128개, AMD EPYC 9565 또는 9575F 권장; 스레드당 메모리 4 GB; BlueField-3 프론트엔드 |
| 컨트롤 플레인 노드 | 클러스터의 컨트롤 플레인 | 3.65 GHz 초과의 vCPU 32개, AMD EPYC 9175F 권장; 메모리 128 GB; GPU 2,304개당 노드 6개, 2개 랙에 분산 |
CPU 노드는 GPU 수에 따라 규모가 정해지며, 클러스터의 GPU당 최소 하드웨어 스레드 6개와 메모리 24 GB를 갖춥니다. AI 모델 연구소를 위한 B300에서 지속적인 학습이 각 계층에 무엇을 요구하는지 설명합니다.
HGX B300 클러스터 레퍼런스 구성
3가지 레퍼런스 규모는 GPU 노드 수에 맞춰 필요한 CPU 노드, 컨트롤 플레인 노드, 스토리지 및 메가와트 수를 정합니다.
| 항목 | 64노드 | 128노드 | 288노드 |
|---|---|---|---|
| GPU 노드(노드당 GPU 8개) | 64 | 128 | 288 |
| GPU | 512 | 1,024 | 2,304 |
| CPU 노드 | 24 | 48 | 108 |
| 컨트롤 플레인 노드 | 6 | 6 | 6 |
| 스토리지, 어플라이언스 옵션(가용 용량) | 512 TB | 1,024 TB | 2,304 TB |
| 스토리지, 스토리지 노드 옵션 | 9노드 | 17노드 | 38노드 |
| 예상 IT 부하 | 약 0.98 MW | 약 1.95 MW | 약 4.39 MW |
이 비율은 모든 규모에서 유지됩니다. vCPU 128개를 갖춘 CPU 노드를 각각 24개, 48개, 108개 두어 GPU마다 하드웨어 스레드 6개가 할당됩니다. 스토리지 어플라이언스는 GPU당 최소 1 TB의 사용 가능 용량을 제공합니다. 사양서가 GPU 2,304개당 6개로 정하고 있으므로, 컨트롤 플레인 노드 6개로 3가지 규모를 모두 지원합니다. 3가지 규모의 HBM3e 총용량은 각각 약 138 TB, 276 TB, 622 TB이며, IT 부하는 각각 1 MW, 2 MW, 4.4 MW 이내입니다.
더 큰 규모로 확장 가능한 설계
레퍼런스 규모는 288노드까지이지만 설계에는 그런 한계가 없습니다. 사양서는 각 계층을 GPU당 기준으로 산정합니다. GPU당 패브릭 800 Gb/s, CPU 스레드 6개와 CPU 메모리 24 GB, 사용 가능 스토리지 1 TB입니다. 더 큰 클러스터도 이 비율을 유지하며, 제안서에 설계, 사이트 및 전력이 명시됩니다. HGX B300 클러스터는 현재 토론토에서 운영 중이며, 미국 델라웨어의 용량은 가동 준비 중입니다.
동서 패브릭: 이더넷 또는 InfiniBand
모든 GPU는 귀사의 트래픽만 전달하는 레일 최적화 완전 논블로킹 패브릭에 각자 전용 800 Gb/s로 연결됩니다.
- 대역폭: GPU당 1 x 800 Gb/s 또는 2 x 400 Gb/s 플레인, 서버당 6.4 Tb/s, NVIDIA ConnectX-8 NIC 권장.
- 레일 최적화: 모든 서버에서 GPU 1의 NIC은 레일 1에, GPU 2의 NIC은 레일 2에 연결되며, 나머지도 같은 방식입니다.
- 논블로킹: 패브릭에 오버서브스크립션이 없어 모든 GPU가 동시에 최대 속도로 전송할 수 있습니다.
- 스위칭: NVIDIA Spectrum-X 또는 Broadcom Tomahawk 6 권장; NVIDIA Quantum InfiniBand 또는 Tomahawk 5 허용.
- 인도 전 테스트: nccl-tests로 NCCL 처리량 측정(지원되는 경우 SHARP 사용, HW-1), ib_write_bw로 모든 InfiniBand 또는 RoCE 레일 테스트(HW-2).
파운데이션 모델 학습의 병목에서는 GPU 수보다 인터커넥트와 메모리 대역폭이 학습 처리량을 좌우하는 이유를 설명합니다.
스토리지, 남북 네트워크 및 엣지
스토리지와 패브릭 주변 네트워크는 GPU와 함께 같은 문서에서 GPU당, 노드당 기준으로 사양이 정해집니다.
- 스토리지, 옵션 A: VAST Data, WEKA 또는 DDN의 벤더 관리형 어플라이언스, GPU당 사용 가능 용량 최소 1 TB, 24/7 벤더 에스컬레이션 및 티어별 처리량과 지연 시간 확약.
- 스토리지, 옵션 B: 귀사 자체 스토리지 소프트웨어용 스토리지 노드, 30.72 TB NVMe PCIe 5.0 드라이브 기반 GPU당 원시 용량 최소 3 TB, 최소 9노드.
- 남북 네트워크: 노드당 400 Gb/s 권장, 최소 200 Gb/s; 스토리지 리프 스위치는 오버서브스크립션 없음, GPU 리프 스위치는 4:1 미만; RoCEv2 및 MTU 9000.
- 엣지: 회선당 100 Gb/s의 독립된 트랜짓 사업자 2곳, BFD를 적용한 eBGP, BGP를 통해 5분 이내에 활성화되는 DDoS 스크러빙.
NAT, 공인 주소, 귀사 소유의 IP 공간과 ASN, 플로우 텔레메트리는 스토리지 및 네트워킹에서 다룹니다.
GPU 클러스터 전력 계획
전력은 GPU 노드당 약 14 kW를 기준으로 계획합니다. CPU 노드, 컨트롤 플레인, 스토리지 노드 및 네트워크를 더하면 64노드 클러스터에는 약 0.98 MW의 IT 부하가 필요합니다.
| 64노드 클러스터 | 수량 | 계획 기준치 | 부하 |
|---|---|---|---|
| GPU 노드 | 64 | 대당 약 14 kW | 896 kW |
| CPU 노드 | 24 | 대당 1.0 kW | 24 kW |
| 컨트롤 플레인 노드 | 6 | 대당 0.5 kW | 3 kW |
| 스토리지 노드, 옵션 B | 9 | 대당 1.3 kW | 11.7 kW |
| 네트워크 | GPU 부하의 5% | 44.8 kW | |
| 합계 | 약 0.98 MW |
같은 방법으로 계산하면 128노드는 약 1.95 MW, 288노드는 4.39 MW입니다. 14 kW라는 수치는 공랭식 HGX B300 노드에 대한 계획상 가정치이며, NVIDIA는 자사 DGX B300 시스템을 약 14 kW로 제시합니다. 시설은 계약상 랙당 최대 kW를 약속해야 하며, 이 수치에 따라 랙 하나에 들어가는 GPU 노드 수가 정해집니다. 1Legion이 사이트에 요구하는 그 밖의 조건은 데이터센터 페이지에 나와 있습니다.
클러스터 납품 절차
클러스터는 제안부터 프로덕션 가동까지 5단계를 거치며, 검수 보고서가 구축 단계와 운영 단계를 가르는 기준이 됩니다.
제안서
1Legion은 납품 사양서를 기준으로 서면 제안서를 보내 드립니다. 모든 항목은 필수(Required) 또는 권장(Preferred)으로 표시되며, 귀사에 필요한 변경 사항은 번호가 매겨진 예외 항목으로 기재됩니다.
계약 및 온보딩
클러스터를 실제로 사용할 회사가 온보딩 양식 3종을 작성하고, 임대 계약서에 서명한 뒤 계약금을 납부합니다. 대규모 할당에는 은행 지급보증이나 신용장이 필요할 수 있습니다.
구축
1Legion은 서버를 랙에 장착하고, 패브릭, 남북 네트워크 및 엣지를 구축하며, 모든 랙, 노드, GPU, NIC, 드라이브, 스위치, 포트, 트랜시버 및 케이블을 기준 인벤토리에 기록합니다.
번인 테스트
클러스터는 NCCL 처리량, 모든 패브릭 레일, GPUDirect RDMA 및 스토리지, NVLink 및 NVSwitch, 그리고 일정한 전력 상한을 유지한 24시간 연속 부하 테스트로 구성된 NVIDIA의 하드웨어 검증 테스트 HW-1~HW-5를 통과합니다.
인도 및 운영
모든 결과가 담긴 검수 보고서가 귀사에 전달됩니다. 이후 1Legion은 공유 Slack 채널과 지정된 기술 계정 담당자를 두고 운영 약속에 따라 클러스터를 운영합니다.
번인 테스트 및 검수에서는 각 테스트와 노드가 테스트를 통과하지 못했을 때의 처리 방법을 설명합니다.
구매자가 묻는 질문
패브릭은 InfiniBand인가요, 이더넷인가요?
1Legion 납품 사양서는 NVIDIA Spectrum-X 또는 Broadcom Tomahawk 6 기반 이더넷을 권장하며, NVIDIA Quantum InfiniBand 또는 Tomahawk 5도 허용합니다. 어느 쪽이든 패브릭은 레일 최적화, 완전 논블로킹 구조이며 GPU당 800 Gb/s입니다.
클러스터를 다른 고객과 공유하나요?
아닙니다. GPU 서버, 동서 패브릭 및 남북 네트워크는 단일 고객 전용입니다.
GPU 클러스터에는 전력이 얼마나 필요한가요?
GPU 노드당 약 14 kW로 계획하면 IT 부하는 약 0.98 MW(64노드), 1.95 MW(128노드), 4.39 MW(288노드)입니다.
GPU 노드는 공랭식인가요, 액체 냉각식인가요?
HGX B300 노드는 클러스터 규모에서의 OEM 권장에 따라 공랭식입니다. 사전 예약으로 제공되는 GB300 NVL72는 액체 냉각식입니다.
번인 테스트 결과를 확인할 수 있나요?
네. 모든 클러스터는 인도 전에 NVIDIA의 하드웨어 검증 테스트 HW-1~HW-5를 통과하며, 그 결과는 검수 보고서로 귀사에 전달됩니다. 번인 테스트 및 검수를 참조하십시오.
클러스터를 288노드보다 크게 구성할 수 있나요?
네. 사양서가 모든 계층을 GPU당 기준으로 산정하므로, 더 큰 클러스터도 같은 비율을 유지합니다. 설계, 사이트 및 전력은 제안서에 명시됩니다.