HGX B300 서버의 내부
임대하시는 구성 요소를 하나씩 살펴봅니다.
-
서버 하나에 고객 하나
섀시 안의 GPU, CPU, 메모리, 드라이브 및 네트워크 포트는 약정 기간 내내 한 고객에게만 속합니다. 그 안의 어떤 것도 공유되지 않습니다.
-
Blackwell Ultra GPU 8개
하나의 베이스보드에 SXM GPU 8개가 탑재되며, 각 GPU는 7.7 TB/s의 HBM3e 270 GB를 갖습니다. 서버 한 대에 GPU 메모리 2.1 TB입니다.
-
단일 NVLink 도메인
5세대 NVLink가 GPU 8개 전체를 GPU당 1.8 TB/s, 서버 전체 14.4 TB/s로 연결하므로, 하나의 모델이 보드 전체에 걸쳐 실행될 수 있습니다.
-
GPU당 800 Gb/s
각 GPU에는 클러스터 패브릭으로 연결되는 전용 800 Gb/s 포트가 있으며(NVIDIA ConnectX-8 권장), 다른 고객이 사용하지 않는 레일 최적화 패브릭에 연결됩니다.
-
드라이브와 공랭
1Legion 납품 사양서에 따라 제작된 공랭식 섀시 전면에 데이터용 원시 용량 최소 9.2 TB의 NVMe가 장착됩니다.
사양
| GPU | |
|---|---|
| 플랫폼 | NVIDIA HGX B300, 단일 베이스보드에 SXM GPU 8개 |
| 아키텍처 | NVIDIA Blackwell Ultra |
| GPU당 메모리 | 270 GB HBM3e(NVIDIA HGX B300 사양) |
| 서버당 GPU 메모리 | 2.1 TB HBM3e(8 x 270 GB, NVIDIA 표기 기준) |
| GPU당 메모리 대역폭 | 7.7 TB/s |
| FP4 Tensor(GPU 8개) | 144 PFLOPS(희소성 적용), 108 PFLOPS(희소성 미적용) |
| FP8 및 FP6 Tensor(GPU 8개) | 72 PFLOPS(희소성 적용) |
| FP16 및 BF16 Tensor(GPU 8개) | 36 PFLOPS(희소성 적용) |
| TF32 Tensor(GPU 8개) | 18 PFLOPS(희소성 적용) |
| FP32(GPU 8개) | 600 TFLOPS |
| FP64(GPU 8개) | 10 TFLOPS |
| NVLink | 5세대, GPU당 1.8 TB/s, 서버당 14.4 TB/s |
| PCIe | Gen6, 256 GB/s |
| GPU당 전력 | 설정 가능, 최대 1,100 W |
| Multi-Instance GPU | GPU당 최대 7개 인스턴스 |
| 납품 시 서버 구성 | |
|---|---|
| CPU | 최소 128 vCPU |
| 시스템 메모리 | 3 TB 권장, 최소 1.92 TB(GPU당 240 GB) |
| 부팅 스토리지 | 2 x 1 TB NVMe, 미러링(권장) |
| 로컬 데이터 스토리지 | 원시 용량 최소 9.2 TB NVMe |
| 냉각 | 공랭식 |
| 전력 계획 | 서버당 약 14 kW(계획상 가정치) |
| 네트워킹 | |
|---|---|
| 백엔드 네트워크 | GPU당 800 Gb/s(1 x 800, 2 x 400 또는 4 x 200 Gb/s), NVIDIA ConnectX-8 권장 |
| 프론트엔드 네트워크 | NVIDIA BlueField-3, 2 x 400 Gb/s 권장, 최소 2 x 200 Gb/s |
| 동서 패브릭 | 레일 최적화, 완전 논블로킹, 단일 고객 전용 |
| 패브릭 스위칭 | NVIDIA Spectrum-X 또는 Broadcom Tomahawk 6 권장; NVIDIA Quantum InfiniBand 또는 Tomahawk 5 허용 |
| 남북 네트워크 | 노드당 400 Gb/s 권장, 최소 200 Gb/s, RoCEv2, MTU 9000 |
주요 워크로드
- 대형 모델의 사전 학습 및 사후 학습
- 클러스터 규모의 강화 학습 및 파인튜닝
- 긴 컨텍스트를 사용하는 리즈닝 모델 및 전문가 혼합(MoE) 모델의 추론
NVIDIA HGX B300 서버를 8-GPU 노드 전체 단위로, 또는 다른 고객과 공유하지 않는 패브릭 기반의 클러스터로 임대하실 수 있습니다. 모든 서버는 1Legion이 공개한 납품 사양서에 따라 구축되고, 인도 전에 번인 테스트를 거치며, 36개월, 48개월 또는 60개월 계약에 따라 단일 월 고정 요금으로 임대됩니다.
HGX B300 대상 고객
HGX B300은 모델 규모가 GPU당 80~180 GB를 넘어선 팀을 위한 서버입니다. 각 GPU에 HBM3e 270 GB, 서버당 2.1 TB가 탑재되므로, FP8의 70B 파라미터 모델(가중치 약 70 GB)을 올려도 GPU 하나에 KV 캐시와 배치 처리용으로 약 200 GB가 남습니다.
AI 연구소는 몇 주씩 이어지는 사전 학습 및 사후 학습에 이 서버를 임대합니다. 추론 팀은 긴 컨텍스트의 리즈닝 모델 및 전문가 혼합(MoE) 모델을 서빙하기 위해 임대합니다. HGX B300은 1Legion 용량의 주력 제품군이며, 1Legion의 HGX B300 납품 사양서도 이 서버를 중심으로 작성되었습니다.
강점
HGX B300을 차별화하는 것은 GPU당 메모리와 대역폭입니다.
NVIDIA는 각 GPU의 메모리 대역폭을 7.7 TB/s로 제시하며, 이는 대형 모델의 디코딩 속도 상한을 결정합니다. 8-GPU 보드의 FP4 성능은 희소성 미적용 기준 108 PFLOPS(희소성 적용 시 144 PFLOPS)이며, HGX B200은 희소성 미적용 기준 72 PFLOPS입니다. FP8 성능은 희소성 적용 시 72 PFLOPS입니다. 5세대 NVLink는 각 GPU에 나머지 GPU 7개와 통신하는 1.8 TB/s, 서버 전체 14.4 TB/s를 제공하며, 각 GPU는 클러스터 패브릭으로 연결되는 전용 800 Gb/s 포트를 갖습니다.
절충점은 배정밀도 성능입니다. NVIDIA는 이 보드의 FP64 성능을 10 TFLOPS로 제시하므로, HGX B300은 FP64 시뮬레이션이 아닌 AI용 수치 형식을 위한 서버입니다.
납품 시 구성
구성은 1Legion의 납품 사양서 1LG-DEL-SPEC-2026-001을 따릅니다. 제안서에서 변경되는 사항은 모두 번호가 매겨진 예외 항목으로 기재되므로, 귀사의 서버가 공개된 기준과 어디가 다른지 확인하실 수 있습니다.
- CPU 및 메모리: vCPU 최소 128개, 시스템 메모리 3 TB 권장, 어떤 경우에도 GPU당 240 GB(1.92 TB) 이상.
- 로컬 스토리지: 1 TB NVMe 부팅 드라이브 미러링 쌍 권장, 여기에 GPU 메모리의 4배를 넘는 데이터용 원시 NVMe 최소 9.2 TB.
- 네트워크: 백엔드는 GPU당 800 Gb/s(NVIDIA ConnectX-8 권장), 프론트엔드는 NVIDIA BlueField-3로 2 x 400 Gb/s 권장, 최소 2 x 200 Gb/s.
- 냉각 및 전력: 클러스터 규모에서의 OEM 권장에 따라 공랭식. 전력은 서버당 약 14 kW로 계획합니다.
HGX B300 클러스터 옵션
1Legion 클러스터는 스위치까지 단일 고객 전용입니다. 3가지 레퍼런스 규모는 모두 같은 서버를 사용합니다:
| 항목 | 64노드 | 128노드 | 288노드 |
|---|---|---|---|
| GPU 노드(노드당 GPU 8개) | 64 | 128 | 288 |
| GPU | 512 | 1,024 | 2,304 |
| CPU 노드 | 24 | 48 | 108 |
| 컨트롤 플레인 노드 | 6 | 6 | 6 |
| 스토리지, 어플라이언스 옵션(가용 용량) | 512 TB | 1,024 TB | 2,304 TB |
| 스토리지, 스토리지 노드 옵션 | 9노드 | 17노드 | 38노드 |
| 예상 IT 부하 | 약 0.98 MW | 약 1.95 MW | 약 4.39 MW |
동서 패브릭은 GPU당 800 Gb/s의 레일 최적화 완전 논블로킹 구조이며, NVIDIA Spectrum-X 또는 Broadcom Tomahawk 6을 권장합니다. CPU 노드는 GPU 주변 서비스를 실행하고, 스토리지는 GPU당 사용 가능 용량이 최소 1 TB인 벤더 관리형 어플라이언스 또는 귀사 자체 소프트웨어용 스토리지 노드 중 하나입니다. 설계와 납품은 전용 GPU 클러스터 페이지에서, 엣지, DDoS 방어 및 귀사 소유의 IP 대역은 스토리지 및 네트워킹에서 다룹니다.
임대 절차
HGX B300은 할당 접수 중입니다. 서버 전체 단위로 임대하시며, 모든 가격은 서면 제안서로 제시합니다.
요청 및 제안서
필요한 서버 수, 사용 기간 및 시작 시점을 알려 주십시오. 1Legion은 질문 또는 서면 제안서로 회신합니다.
온보딩 및 계약
서버를 실제로 사용할 회사가 온보딩 양식 3종을 작성하고, 36개월, 48개월 또는 60개월 계약에 서명한 뒤 계약금을 납부합니다. 약정 기간이 길수록 요금이 낮아집니다.
구축 및 번인 테스트
1Legion은 납품 사양서에 따라 구축하고 NVIDIA의 하드웨어 검증 테스트 HW-1~HW-5를 실행합니다. 결과는 검수 보고서에 담깁니다.
운영
요금은 전체 약정 기간 동안 단일 고정 요금으로 매월 청구되며, 이그레스 요금은 없습니다. 귀사는 운영 약속에 따라 공유 Slack 채널에서 지정된 기술 계정 담당자와 함께 1Legion 엔지니어와 협업합니다.
HGX B300 용량은 운영 중인 토론토와 가동 준비 중인 미국 델라웨어에 있습니다. 대규모 할당에는 은행 지급보증이나 신용장 같은 지급 담보가 필요할 수 있습니다. 각 단계는 구매 방법 페이지에서 설명합니다.
워크로드 및 대안
GPU당 메모리나 GPU 간 대역폭이 제약일 때는 HGX B300을 선택하십시오. 장시간 사전 학습, 사후 학습 및 강화 학습, GPU당 180 GB를 넘는 메모리가 필요한 모델의 추론이 이에 해당합니다. 스택의 나머지 부분은 AI 학습 및 AI 추론 페이지에서 다루며, 8 x 270 GB: B300 노드에 무엇이 들어가는가와 AI 모델 연구소를 위한 B300, 두 편의 글에서 수치를 단계별로 살펴봅니다.
작업에 FP64가 필요하거나 GPU당 180 GB에 들어간다면 HGX B200을 검토해 보십시오. 하나의 NVLink 도메인에 GPU 72개가 필요하다면 GB300 NVL72 랙을 사전 예약으로 이용하실 수 있습니다.
구매자가 묻는 질문
HGX B300 서버는 몇 대를 임대할 수 있나요?
8-GPU 서버 한 대부터 전용 클러스터까지 가능합니다. 1Legion의 레퍼런스 클러스터는 64노드, 128노드, 288노드(GPU 512~2,304개)이며, 설계는 그 이상으로 확장됩니다. 전용 GPU 클러스터를 참조하십시오.
서명 전에 HGX B300 서버를 테스트해 볼 수 있나요?
시범 사용이나 PoC는 진행하지 않습니다. 모든 클러스터는 인도 전에 NVIDIA의 하드웨어 검증 테스트 HW-1~HW-5를 통과하며, 결과는 검수 보고서로 제공됩니다. 번인 테스트 및 검수를 참조하십시오.
HGX B300 서버는 어디에서 호스팅되나요?
운영 중인 캐나다 토론토와 가동 준비 중인 미국 델라웨어입니다. 사이트는 제안서에 명시됩니다.
어떤 계약 기간을 선택할 수 있나요?
36개월, 48개월 또는 60개월이며, 약정 기간이 길수록 요금이 낮아집니다. 계약 체결 시 계약금을 납부하시고, 이후 전체 약정 기간 동안 단일 월 고정 요금을 납부하시며, 이그레스 요금은 없습니다.
HGX B300은 FP64 시뮬레이션에 적합한가요?
아닙니다. NVIDIA는 8-GPU HGX B300의 FP64 성능을 10 TFLOPS로 제시하며, HGX B200은 296 TFLOPS입니다. FP64 비중이 높은 작업에는 HGX B200을 검토해 보십시오.
클러스터에서 Kubernetes나 Slurm을 대신 운영해 줄 수 있나요?
네, 옵션으로 제공합니다. 1Legion은 NVIDIA GPU Operator 및 Network Operator와 함께 Kubernetes를, 또는 관리형 Slurm을 설치, 운영, 업그레이드 및 모니터링하며, 비용은 제안서에서 임대료에 추가로 책정됩니다. 관리형 Kubernetes를 참조하십시오.