1Legion의 AI 학습용 GPU 클러스터는 귀사 트래픽만 전달하는 동서 패브릭 위에 구성된 NVIDIA HGX B300 서버 전체의 집합으로, 단일 고객에게 36개월, 48개월 또는 60개월 동안 임대됩니다. 1Legion은 각 클러스터를 공개된 납품 사양서에 따라 구축하고 인도 전에 번인 테스트를 진행하므로, 수주간 이어지는 학습의 첫 스텝은 이미 24시간 연속 부하 테스트를 통과한 노드에서 시작됩니다.
LLM 학습 인프라가 견뎌야 하는 조건
수주간 이어지는 학습에는 옵티마이저 상태를 위한 메모리, 느린 링크가 없는 패브릭, 빠른 체크포인트 스토리지, 그리고 실행 중에 바뀌지 않는 환경이 필요합니다.
옵티마이저 상태를 위한 메모리
Adam 옵티마이저를 사용한 혼합 정밀도 학습은 가중치, 그래디언트 및 옵티마이저 상태로 파라미터당 약 16바이트를 사용합니다. 70B 파라미터 모델이라면 활성화 값을 제외하고 약 1.1 TB이며, 이는 HGX B300 서버 1대의 HBM3e 2.1 TB에 들어갑니다.
느린 링크가 없는 패브릭
샤딩 및 데이터 병렬 학습은 매 스텝마다 모든 GPU의 그래디언트를 동기화하므로, 링크 하나만 혼잡해도 클러스터 전체가 느려집니다. 1Legion의 HGX B300 패브릭은 GPU당 800 Gb/s로 완전한 논블로킹입니다.
체크포인트 처리량
70B 파라미터 모델의 FP32 마스터 가중치와 Adam 상태를 담은 체크포인트는 약 840 GB이며, 동기식 저장은 쓰기가 끝날 때까지 모든 GPU를 멈춰 세웁니다. 스토리지는 GPU당 기준으로 산정되며, 체크포인트를 클러스터 밖으로 옮길 때 이그레스 요금이 없습니다.
변하지 않는 환경
귀사의 서버나 패브릭을 공유하는 다른 테넌트는 없습니다. 1Legion 측의 변경은 서면 변경 관리 절차를 따르며, 고위험 유지보수는 최소 7일 전에 통지합니다.
GPU 수가 아니라 메모리와 인터커넥트가 학습 처리량을 결정하는 이유는 학습 병목에 관한 글에서 설명합니다.
학습 워크로드에 적합한 서버
HGX B300은 1Legion의 주력 학습 플랫폼이며 HGX B200도 할당 접수 중이고, GB300 NVL72와 Vera Rubin은 사전 예약으로 이용할 수 있습니다.
- GPU당 메모리
- 270 GB HBM3e
- 서버당 GPU
- 8
- GPU당 메모리
- 180 GB HBM3e
- 서버당 GPU
- 8
- GPU당 메모리
- 279 GB HBM3e
- 랙당 GPU 수
- 72
- GPU당 메모리
- 288 GB HBM4
- 서버당 GPU
- 8
| 8-GPU 서버 | HGX B300 | HGX B200 |
|---|---|---|
| 서버당 GPU 메모리 | 2.1 TB HBM3e | 1,440 GB HBM3e |
| GPU당 메모리 대역폭 | 7.7 TB/s | 7.7 TB/s |
| NVLink | GPU당 1.8 TB/s, 총 14.4 TB/s | GPU당 1.8 TB/s, 총 14.4 TB/s |
| 서버당 FP4 Tensor 성능, 희소성 적용 및 미적용 | 144 및 108 PFLOPS | 144 및 72 PFLOPS |
| 서버당 FP8 Tensor 성능, 희소성 적용 | 72 PFLOPS | 72 PFLOPS |
| 서버당 FP64 | 10 TFLOPS | 296 TFLOPS |
GPU당 메모리가 샤딩 방식을 좌우한다면 HGX B300을 선택하시면 됩니다. 270 GB이면 70B 파라미터 모델의 BF16 가중치 140 GB를 GPU 1개에 담고도 130 GB가 남습니다. 학습과 FP64 시뮬레이션을 함께 수행한다면 HGX B200을 선택하시면 됩니다. GB300 NVL72는 Blackwell Ultra GPU 72개와 Grace CPU 36개를 HBM3e 20 TB와 130 TB/s의 NVLink 대역폭을 갖춘 단일 액체 냉각식 NVLink 도메인으로 묶습니다. Vera Rubin은 1Legion이 주문해 둔 차세대 NVIDIA 플랫폼으로, GPU당 288 GB의 HBM4와 6세대 NVLink를 갖춥니다.
전용 논블로킹 패브릭
모든 HGX B300 클러스터에는 GPU당 800 Gb/s의 레일 최적화된 완전 논블로킹 동서 패브릭이 전용으로 제공됩니다.
- 대역폭: GPU당 1 x 800 또는 2 x 400 Gb/s 플레인, 서버당 6.4 Tb/s, NVIDIA ConnectX-8 권장.
- 스위칭: NVIDIA Spectrum-X 또는 Broadcom Tomahawk 6 권장, NVIDIA Quantum InfiniBand 또는 Tomahawk 5 허용.
- 서버 내부: GPU당 1.8 TB/s의 5세대 NVLink.
- 스토리지 및 서비스: 노드당 400 Gb/s의 별도 남북 네트워크 권장, RoCEv2 지원, MTU 9000, 스토리지 리프 스위치에 오버서브스크립션 없음.
클러스터는 3가지 레퍼런스 규모로 제공되며, 더 큰 클러스터도 동일한 설계를 따릅니다.
| 항목 | 64노드 | 128노드 | 288노드 |
|---|---|---|---|
| GPU 노드(노드당 GPU 8개) | 64 | 128 | 288 |
| GPU | 512 | 1,024 | 2,304 |
| CPU 노드 | 24 | 48 | 108 |
| 컨트롤 플레인 노드 | 6 | 6 | 6 |
| 스토리지, 어플라이언스 옵션(가용 용량) | 512 TB | 1,024 TB | 2,304 TB |
| 스토리지, 스토리지 노드 옵션 | 9노드 | 17노드 | 38노드 |
| 예상 IT 부하 | 약 0.98 MW | 약 1.95 MW | 약 4.39 MW |
각 규모에는 서빙, 라우팅 및 배치 작업용 CPU 노드(클러스터 내 GPU당 최소 6개 하드웨어 스레드와 24 GB 메모리)와 랙 2개에 분산된 컨트롤 플레인 노드 6개가 포함됩니다. GPU 노드당 약 14 kW 기준의 전력 계획은 GPU 클러스터 페이지에서 다룹니다.
체크포인트 및 데이터셋 스토리지
스토리지는 2가지 옵션으로 제공되며 둘 다 GPU당 기준으로 산정합니다. 또한 각 GPU 노드에는 데이터셋 샤드와 체크포인트 스테이징을 위한 최소 9.2 TB의 로컬 NVMe(원시 용량)가 추가됩니다.
옵션 A: 관리형 어플라이언스
선호하시는 VAST Data, WEKA 또는 DDN 어플라이언스로, GPU당 최소 1 TB의 사용 가능 용량(64노드 클러스터 기준 512 TB), 티어별 확약 처리량 및 지연 시간, 사용량 및 할당량 가시화, 테스트를 거친 복구, 24/7 벤더 에스컬레이션을 제공합니다.
옵션 B: 자체 소프트웨어용 스토리지 노드
30.72 TB NVMe PCIe 5.0 드라이브 기반으로 GPU당 최소 3 TB의 원시 용량을 갖춘 스토리지 노드, 최소 9노드부터 구성, 자체 암호화 드라이브 지원. 두 옵션은 모두 스토리지 및 네트워킹에서 설명합니다.
실행 중 장애 처리 방식
작업 도중 하드웨어에 장애가 발생하면 해당 노드를 서비스에서 제외하고 수리 또는 교체하므로, 귀사 작업은 정상 노드에서 다시 시작할 수 있습니다.
- 치명적인 GPU 장애(XID 79, XID 48, 더블 비트 ECC 오류 및 행 리매핑 실패)가 발생하면 해당 노드를 즉시 격리합니다.
- 반복되는 XID 13 및 XID 31 오류는 귀사와 합의한 횟수에 도달하면 처리합니다.
- NCCL 멈춤 현상은 패브릭 이벤트와 연관 분석되므로, 멈춘 작업을 그 원인이 된 링크와 연결해 파악합니다.
- 사일런트 데이터 손상이 의심되는 노드는 격리 상태로 유지됩니다.
- NVMe 드라이브는 내구 한도에 도달하기 전에 교체합니다.
운영 텔레메트리는 최소 30일, 장애 및 상태 이력은 최소 12개월 동안 보관합니다. 전체 목록은 운영 약속에 있으며, 장애 유형은 공유 클라우드에서 장시간 학습이 실패하는 이유에 관한 글에서 다룹니다.
시범 사용 대신 번인 테스트
모든 클러스터는 인도 전에 NVIDIA 하드웨어 검증 테스트 HW-1~HW-5를 통과하며, 그 결과는 검수 보고서에 담깁니다.
- HW-1
집합 통신 처리량
nccl-tests로 기준 NCCL 처리량을 측정하며, 패브릭이 지원하는 경우 SHARP 가속 집합 통신도 함께 측정합니다.
nccl-tests - HW-2
모든 네트워크 레일
모든 InfiniBand 또는 RoCE 레일을 ib_write_bw로 테스트합니다.
ib_write_bw - HW-3
GPUDirect 및 스토리지
NVMe 읽기 및 쓰기를 포함해 GPUDirect RDMA 및 스토리지 스모크 테스트를 수행합니다.
GPUDirect RDMA, NVMe - HW-4
NVLink 및 NVSwitch
nvbandwidth로 NVLink 및 NVSwitch의 링크 수와 대역폭을 확인합니다.
nvbandwidth - HW-5
24시간 연속 부하 테스트
전력 상한을 지속적으로 유지한 상태에서 대표적인 추론 부하로 24시간 연속 부하 테스트를 실시합니다.
전력 상한 내 추론 부하
시범 사용, PoC 또는 단기 임대는 제공하지 않습니다. 검수 보고서에는 실제로 학습에 사용하실 노드에서 측정한 NCCL 처리량, 모든 InfiniBand 또는 RoCE 레일, NVLink 및 NVSwitch 링크, 24시간 연속 부하 테스트 결과가 담깁니다. 번인 테스트 및 검수 진행 방식을 확인해 주십시오.
36~60개월 약정의 모델 학습용 GPU 임대
학습 클러스터는 서버 전체 단위로 36개월, 48개월 또는 60개월 동안 단일 월 고정 요금으로 임대되며, 약정 기간이 길수록 요금이 낮아집니다.
견적 요청
모델 크기, 서버 수, 약정 기간, 사이트 및 필요 시기를 알려 주십시오.
제안서
납품 사양서를 기준으로 서면 제안서를 보내 드리며, 필요하신 각 변경 사항은 번호가 매겨진 예외 항목으로 명시됩니다.
온보딩 및 계약
서버를 실제로 사용할 회사가 1Legion의 3가지 온보딩 양식을 작성하고, 임대 계약서에 서명하고, 계약금을 지급합니다.
구축, 번인 테스트 및 인도
토론토에서, 또는 델라웨어 사이트가 가동되는 대로 델라웨어에서 클러스터를 구축하고 번인 테스트를 진행한 뒤, 검수 보고서, 공유 Slack 채널 및 지정된 기술 계정 담당자와 함께 인도합니다.
잔액은 약정 기간 동안 매월 청구되며 이그레스 요금은 없고, 대규모 할당의 경우 은행 지급보증이나 신용장이 필요할 수 있습니다. 플랫폼 계층 운영을 원하시면, NVIDIA GPU Operator 및 Network Operator를 포함한 관리형 Kubernetes 또는 관리형 Slurm을 1Legion이 설치하고 운영합니다. 전용 B300에서의 지속적인 학습에 관한 글에서 연구소들이 고정된 약정 기간에 맞춰 학습 캠페인을 계획하는 방법을 소개합니다.
구매자가 묻는 질문
임대 가능한 가장 작은 학습 클러스터는 어느 정도인가요?
서버 전체 단위로 임대하므로, 최소 단위는 36개월 약정의 8-GPU HGX B300 서버 1대입니다. 레퍼런스 클러스터는 단일 전용 패브릭 위의 64노드, 128노드 및 288노드이며, 더 큰 클러스터도 동일한 설계를 따릅니다.
계약 전에 클러스터를 테스트해 볼 수 있나요?
시범 사용이나 PoC는 제공하지 않습니다. 모든 클러스터는 인도 전에 NVIDIA의 HW-1~HW-5 하드웨어 검증 테스트를 통과하며, 그 결과를 검수 보고서로 받으십니다. 번인 테스트 및 검수를 참조해 주십시오.
학습 패브릭은 InfiniBand로 구축하나요, 이더넷으로 구축하나요?
1Legion 납품 사양서는 NVIDIA Spectrum-X 또는 Broadcom Tomahawk 6을 권장하며, NVIDIA Quantum InfiniBand 또는 Tomahawk 5도 허용합니다. 어느 쪽이든 패브릭은 레일 최적화된 완전 논블로킹 구조로 GPU당 800 Gb/s이며 귀사 전용입니다.
체크포인트용으로 어떤 스토리지를 선택해야 하나요?
옵션 A는 GPU당 최소 1 TB의 사용 가능 용량과 24/7 벤더 에스컬레이션을 갖춘 VAST Data, WEKA 또는 DDN 어플라이언스입니다. 옵션 B는 귀사가 직접 운영하는 스토리지 소프트웨어를 위해 GPU당 최소 3 TB의 원시 용량을 갖춘 스토리지 노드입니다.
작업 중 GPU에 장애가 발생하면 어떻게 되나요?
XID 79나 더블 비트 ECC 오류 같은 치명적 장애가 발생하면 해당 노드를 즉시 격리하고, 귀사 클러스터에 다시 합류시키기 전에 수리 또는 교체합니다. 장애 대응 책임자는 15분 이내에 지정됩니다.
학습 클러스터에 1년 또는 2년 약정이 있나요?
아니요. GPU 서버는 36개월, 48개월 또는 60개월 동안 임대되며, 약정 기간이 길수록 요금이 낮아집니다.