NVIDIA A100 80GB

A100 80GB는 학습 및 추론 코드를 Ampere 아키텍처에서 구축하고 검증했으며, 각각 80 GB 메모리를 갖춘 GPU 8개를 NVLink로 연결해 쓰려는 팀을 위한 서버입니다. A100을 계속 사용하면 프로젝트 진행 도중에 새 아키텍처에서 커널, 수치 연산 및 파이프라인을 다시 검증하지 않아도 됩니다.

배정밀도 작업에도 적합합니다. NVIDIA는 FP64 Tensor 코어 처리량을 GPU당 19.5 TFLOPS로, 8-GPU HGX A100 보드의 FP64 성능을 156 TFLOPS로 제시합니다.

NVIDIA의 A100 사양에는 FP64와 함께 TF32, BF16, FP16 및 INT8에 대한 Tensor 코어 지원이 명시되어 있으며, FP8과 FP4는 포함되어 있지 않습니다. 각 GPU의 TDP는 표준 구성에서 400 W이며, NVIDIA는 HGX A100 80GB 맞춤형 냉각 솔루션이 최대 500 W를 지원한다고 밝히고 있습니다.

A100 서버는 NVIDIA의 8-GPU HGX A100 보드를 중심으로 구성됩니다. CPU, 시스템 메모리, 로컬 NVMe부터 네트워크까지 나머지는 모두 귀사의 요구 사항에 맞춰 구성하고 제안서에서 확정합니다.

모든 서버는 인도 전에 번인 테스트를 거치며, 결과는 검수 보고서에 담깁니다. A100 서버를 여러 대 묶어 사용하실 계획이라면 제안서에 서버 간 네트워크가 포함되도록 요청 시 알려 주시고, 1Legion이 전용 패브릭을 구축하는 방식은 GPU 클러스터 페이지를 참조하십시오.

A100 80GB 서버는 요청 시 제공합니다. 필요한 서버 수, 사용 기간 및 시작 시점을 알려 주시면 구성과 납품 일정을 서면 제안서로 확정해 드립니다.

계약 기간은 36개월, 48개월 또는 60개월이며, 약정 기간이 길수록 요금이 낮아집니다. 서버를 실제로 사용할 회사는 서명 전에 온보딩 양식 3종을 작성합니다. 계약 체결 시 계약금을 납부하시고, 이후 전체 약정 기간 동안 단일 월 고정 요금을 납부하시며, 이그레스 요금은 없습니다. 시범 사용은 제공하지 않으며, 번인 테스트 및 검수와 구매 방법 페이지에서 설명하듯 번인 테스트와 검수 보고서가 그 역할을 대신합니다.

A100 80GB는 GPU당 80 GB, 서버당 640 GB 이내에서 이루어지는 학습 및 파인튜닝, MIG 인스턴스로 나눈 추론, FP64 시뮬레이션에 적합합니다. 장시간 작업을 위한 체크포인트 스토리지와 장애 처리는 AI 학습 페이지에서 다룹니다.

Adam 옵티마이저를 사용한 혼합 정밀도 전체 학습에는 활성화 값을 제외하고 파라미터당 약 16~20바이트가 필요합니다. 따라서 640 GB 서버 한 대에는 약 32B~40B 파라미터 모델의 학습 상태가 들어가며, 더 큰 모델은 여러 서버에 샤딩되므로 서버 간 네트워크도 제안서에 포함됩니다.

규모 산정에 관해서는 70 GB 가중치와 GPU 4종에서 70 GB의 가중치를 올린 뒤 80 GB GPU에 KV 캐시용으로 남는 용량이 얼마나 적은지 보여 주며, 파운데이션 모델 학습의 병목에서는 메모리 대역폭과 NVLink가 학습 처리량을 좌우하는 이유를 설명합니다.

새 프로젝트라면 HGX B200은 GPU당 180 GB, FP8 및 FP4, GPU당 FP64 37 TFLOPS를 제공하며, HGX B300은 GPU당 270 GB를 제공합니다.