사양
| GPU | |
|---|---|
| 구성 | NVIDIA Blackwell Ultra GPU 72개 및 NVIDIA Grace CPU 36개 |
| 아키텍처 | NVIDIA Grace Blackwell Ultra |
| GPU당 메모리 | 279 GB HBM3e, 8 TB/s |
| 랙당 GPU 메모리 | 20 TB HBM3e, 최대 576 TB/s |
| 랙당 CPU 메모리 | 17 TB LPDDR5X, 14 TB/s |
| 랙당 고속 메모리 | 37 TB(HBM3e와 LPDDR5X 합산) |
| 랙당 CPU 코어 | Arm Neoverse V2 코어 2,592개 |
| FP4 Tensor(랙당) | 1,440 PFLOPS(희소성 적용), 1,080 PFLOPS(희소성 미적용) |
| FP8 및 FP6 Tensor(랙당) | 720 PFLOPS(희소성 적용) |
| FP16 및 BF16 Tensor(랙당) | 360 PFLOPS(희소성 적용) |
| TF32 Tensor(랙당) | 180 PFLOPS(희소성 적용) |
| FP32(랙당) | 6 PFLOPS |
| FP64(랙당) | 100 TFLOPS |
| NVLink | 5세대, GPU당 1.8 TB/s, 랙당 130 TB/s |
| GPU당 전력 | 설정 가능, 최대 1,400 W |
| 납품 시 서버 구성 | |
|---|---|
| 임대 단위 | 랙 하나 전체, GPU 72개 및 CPU 36개 |
| 냉각 | 완전 액체 냉각식 |
| 시설 | 다이렉트 투 칩 액체 냉각, 배치 전 확인 |
| 랙 구성 | 귀사의 요구 사항에 맞춰 구성, 제안서에서 확정 |
| 네트워킹 | |
|---|---|
| 스케일아웃 네트워크 | NVIDIA ConnectX-8 SuperNIC, GPU당 800 Gb/s |
| 랙 외부 패브릭 | 귀사와 함께 설계, 제안서에서 확정 |
주요 워크로드
- 리즈닝 모델 및 전문가 혼합(MoE) 모델을 위한 랙 스케일 추론
- 모델 병렬화가 8개보다 많은 GPU에 걸치는 학습
- 랙 스케일의 디퓨전 기반 영상 생성
NVIDIA GB300 NVL72 랙을 사전 예약으로 임대하실 수 있습니다. Blackwell Ultra GPU 72개와 Grace CPU 36개를 하나의 NVLink 도메인으로 묶은 액체 냉각식 랙을 랙 전체 단위로 귀사 전용으로 제공합니다. 예약은 36개월, 48개월 또는 60개월 계약으로 진행되며, 모든 가격은 서면 제안서로 제시합니다.
GB300 NVL72 대상 고객
GB300 NVL72는 8개보다 많은 GPU가 NVLink 속도로 통신해야 하는 모델을 위한 시스템입니다. 8-GPU 서버에서는 서버 간 트래픽이 GPU당 800 Gb/s로 네트워크를 거칩니다. GB300 NVL72 랙에서는 GPU 72개 전체가 GPU당 1.8 TB/s, 총 130 TB/s의 단일 NVLink 도메인을 공유합니다.
이는 전문가를 여러 GPU에 분산하는 전문가 혼합(MoE) 모델, 학습 시의 대규모 텐서 병렬 그룹, 그리고 많은 사용자에게 동시에 긴 컨텍스트를 제공하는 리즈닝 모델에 중요합니다. NVIDIA는 이 랙을 디퓨전 기반 영상 생성용으로도 제시합니다.
강점
단일 NVLink 도메인
GPU 72개와 Grace CPU 36개를 단일 NVLink 도메인으로 묶고, 총 NVLink 대역폭은 130 TB/s입니다.
랙당 메모리
최대 576 TB/s의 HBM3e 20 TB(GPU당 279 GB, 8 TB/s)이며, Grace LPDDR5X 17 TB를 포함하면 고속 메모리는 37 TB입니다.
랙당 연산 성능
FP4 성능은 희소성 미적용 1,080 PFLOPS(희소성 적용 시 1,440 PFLOPS), FP8 성능은 희소성 적용 시 720 PFLOPS이며, 각 GPU는 최대 1,400 W까지 설정할 수 있습니다.
스케일아웃 네트워크
NVIDIA ConnectX-8 SuperNIC은 랙 외부로 나가는 트래픽을 위해 각 GPU에 800 Gb/s의 네트워크 연결을 제공합니다.
HGX B300과 마찬가지로 GB300 NVL72는 AI용 수치 형식에 맞춰 설계되었습니다. NVIDIA는 랙 전체의 FP64 성능을 100 TFLOPS로 제시합니다.
납품 시 구성
GB300 NVL72는 랙 전체 단위로 임대되며, 귀사의 요구 사항에 맞춰 구성하고 제안서에서 확정합니다. NVIDIA가 완전 액체 냉각 시스템으로 설계했으므로, 1Legion은 다이렉트 투 칩 액체 냉각을 갖추고 1Legion의 데이터센터 요구 사항을 충족하는 시설에만 이를 배치합니다. 요구 사항은 계약상 랙당 최대 kW, 모든 랙에 대한 A/B 이중 전력 경로, 전력 및 냉각의 동시 유지보수 가능성입니다.
NVIDIA는 GB300 NVL72의 랙 전력 수치를 공개하지 않으므로, 배치 전에 선택한 시스템을 기준으로 확인합니다. 1Legion의 시설 선정 방식은 데이터센터 페이지에서 설명합니다.
사전 예약 절차
GB300 NVL72는 사전 예약으로 제공되며, 구축에 앞서 랙을 예약하시는 방식입니다. 납품일은 공개하지 않으며, 귀사 랙의 일정은 서면으로 합의합니다.
요청 및 제안서
필요한 랙 수와 시점을 알려 주십시오. 1Legion의 서면 제안서에 구성, 가격 및 납품 일정이 명시됩니다.
온보딩 및 계약
랙을 실제로 사용할 회사가 온보딩 양식 3종을 작성한 뒤 36개월, 48개월 또는 60개월 계약에 서명하고 계약금을 납부합니다. 이 규모의 할당에는 은행 지급보증이나 신용장 같은 지급 담보가 필요할 수 있습니다.
번인 테스트 및 인도
각 랙은 인도 전에 번인 테스트를 거치며, 결과는 검수 보고서로 제공됩니다. 요금은 전체 약정 기간 동안 단일 고정 요금으로 매월 청구되며, 이그레스 요금은 없습니다.
약정 기간이 길수록 요금이 낮아집니다. 양식과 결제 구조는 구매 방법 페이지에서 자세히 설명합니다.
워크로드 및 대안
GB300 NVL72는 리즈닝 모델 및 전문가 혼합(MoE) 모델의 랙 스케일 추론과, 모델 병렬화가 8-GPU 서버 한 대를 넘어서는 학습에 적합합니다. 주변 인프라는 AI 학습 및 AI 추론 페이지에서 다룹니다. 파운데이션 모델 학습의 병목에서는 모델을 분할하면 인터커넥트가 한계를 정하는 이유를 설명하며, 8 x 270 GB: B300 노드에 무엇이 들어가는가에서는 GPU 하나로 감당할 수 있는 한계를 보여 줍니다.
더 빨리 용량이 필요하시다면 HGX B300은 할당 접수 중이며, GPU 클러스터 페이지에서 설명하는 전용 패브릭 기반의 64~288노드 클러스터로 제공됩니다. Blackwell Ultra 다음 세대는 역시 사전 예약으로 제공되는 NVIDIA Vera Rubin을 참조하십시오.
구매자가 묻는 질문
GB300 NVL72의 사전 예약은 무엇을 의미하나요?
구축에 앞서 랙을 예약하시는 방식입니다. 납품 일정은 제안서와 계약에서 합의하며, 날짜는 공개하지 않습니다.
GB300 NVL72 랙의 일부만 임대할 수 있나요?
아닙니다. GB300 NVL72는 GPU 72개와 Grace CPU 36개로 구성된 랙 전체 단위로 임대되며, NVLink 도메인은 귀사 전용입니다.
GB300 NVL72에는 어떤 냉각 방식이 필요한가요?
NVIDIA는 이 제품을 완전 액체 냉각식 랙으로 설계했습니다. 1Legion은 다이렉트 투 칩 액체 냉각을 갖추고 1Legion의 데이터센터 요구 사항을 충족하는 시설에만 이를 배치합니다.
GB300 NVL72는 HGX B300과 어떻게 다른가요?
둘 다 Blackwell Ultra GPU를 사용합니다. GB300 NVL72는 GPU 72개와 Grace CPU를 액체 냉각식 단일 NVLink 도메인으로 묶는 반면, HGX B300은 공랭식 서버마다 GPU 8개를 연결하고 GPU당 800 Gb/s 패브릭으로 스케일아웃합니다.
어떤 계약 기간이 적용되나요?
36개월, 48개월 또는 60개월이며, 약정 기간이 길수록 요금이 낮아집니다. 계약 체결 시 계약금을 납부하시고, 이후 전체 약정 기간 동안 단일 월 고정 요금을 납부하시며, 이그레스 요금은 없습니다.