NVIDIA HGX B200

HGX B200은 학습과 추론에 Blackwell을 쓰면서 배정밀도 작업도 계속 실행하는 팀에 적합합니다. 각 GPU에 HBM3e 180 GB, 서버당 1,440 GB가 탑재되므로, FP8의 70B 파라미터 모델(가중치 약 70 GB)이 GPU 하나에 들어가고 KV 캐시와 배치 처리에 약 110 GB가 남습니다.

모델 학습과 함께 시뮬레이션을 실행하는 연구 그룹과 AI 팀은 하나의 플랫폼에서 두 작업을 모두 수행할 수 있습니다. GPU당 메모리가 가장 많이 필요한 팀은 270 GB를 탑재한 HGX B300과 비교해 보십시오.

NVIDIA의 Blackwell 데이터시트에 따르면 GPU당 메모리 대역폭은 7.7 TB/s입니다. 각 GPU는 최대 1,000 W까지 설정할 수 있으며, NVIDIA는 자사 DGX B200 시스템을 약 14.3 kW로 제시하는데, 이는 시설 계획에 유용한 수치입니다.

HGX B200 서버의 CPU, 시스템 메모리, 로컬 NVMe, 네트워크 어댑터 및 냉각은 귀사의 요구 사항에 맞춰 구성하고 제안서에서 확정합니다. NVIDIA의 DGX B200 레퍼런스 설계는 GPU마다 최대 400 Gb/s의 ConnectX-7 어댑터를 두며, 1Legion은 귀사가 계획하는 클러스터에 맞춰 백엔드 네트워크 규모를 산정합니다. 번인 테스트 및 검수 페이지에서 설명하듯 모든 서버는 인도 전에 번인 테스트를 거치며, 결과는 검수 보고서로 제공됩니다.

HGX B200은 개별 서버로 또는 귀사 전용 단일 패브릭의 클러스터로 임대하실 수 있습니다. 클러스터는 동서 패브릭부터 CPU 노드와 스토리지까지 귀사와 함께 설계하며, 제안서에 명시합니다.

1Legion이 공개한 HGX B300 레퍼런스 설계에 그 접근 방식이 나와 있습니다. 다른 고객과 공유하지 않는 레일 최적화 완전 논블로킹 패브릭, GPU 주변 서비스를 위한 CPU 노드, GPU당 기준으로 산정한 스토리지입니다. 클러스터의 구축과 인도 방식은 전용 GPU 클러스터 페이지에서, 1Legion에 운영을 맡기실 경우의 오케스트레이션은 관리형 Kubernetes에서 다룹니다.

HGX B200은 할당 접수 중입니다. 8-GPU 서버 전체를 36개월, 48개월 또는 60개월 계약으로 임대하시며, 약정 기간이 길수록 요금이 낮아집니다.

서명 전에 서버를 실제로 사용할 회사가 온보딩 양식 3종을 작성합니다. 계약 체결 시 계약금을 납부하시고, 이후 전체 약정 기간 동안 단일 월 고정 요금을 납부하시며, 이그레스 요금은 없습니다. 대규모 할당에는 은행 지급보증이나 신용장 같은 지급 담보가 필요할 수 있습니다. 시범 사용은 제공하지 않으며, 번인 테스트와 검수 보고서가 그 역할을 대신합니다. 제안서에는 1Legion 데이터센터 위치 중 사이트가 명시되며, 구매 방법 페이지에서 각 단계를 안내합니다.

HGX B200은 GPU당 180 GB 이내의 학습 및 파인튜닝, FP4, FP8 또는 INT8 추론, AI와 함께 FP64가 필요한 과학 컴퓨팅에 적합합니다. 학습 로드맵에 맞는 스토리지, 장애 처리 및 계약 조건은 AI 학습 페이지에서 다룹니다. 규모 산정의 근거는 파운데이션 모델 학습의 병목과 공유 클라우드에서 장시간 학습이 실패하는 이유를 참조하십시오.

GPU당 메모리가 제약이라면 HGX B300은 GPU당 270 GB와 서버당 희소성 미적용 기준 108 PFLOPS의 FP4 성능을 제공합니다. 코드가 Ampere에 최적화되어 있다면 A100 80GB를 요청 시 제공합니다.