전용 NVIDIA GPU 서버

1Legion은 전용 GPU 서버를 서버 단위로 장기 약정 임대하며, 모든 가격은 서명하시기 전에 서면 제안서로 제시합니다.

베어메탈과 공유 GPU 인프라 비교에서는 전용 하드웨어가 프로덕션 환경에서 무엇을 바꾸는지 설명합니다.

카탈로그는 하드웨어의 설계 목적에 따라 학습, 랙 스케일 시스템, 추론, 그래픽 및 미디어의 4개 그룹으로 나뉩니다.

HGX 보드에 GPU 8개를 탑재한 A100 80GB SXM 서버도 요청 시 제공합니다.

학습: HGX B300 및 HGX B200

HGX B300은 1Legion의 주력 제품군으로, 각각 HBM3e 270 GB를 탑재한 Blackwell Ultra GPU 8개(서버당 2.1 TB)를 GPU당 1.8 TB/s의 5세대 NVLink로 연결합니다. 1Legion의 레퍼런스 GPU 클러스터는 이 서버로 구성되며, GPU당 800 Gb/s 패브릭을 사용합니다. HGX B200은 GPU당 HBM3e 180 GB, 서버당 1,440 GB를 탑재하고 훨씬 높은 배정밀도 성능을 유지합니다. NVIDIA는 8-GPU 보드당 FP64 성능을 296 TFLOPS로 제시하며, HGX B300은 10 TFLOPS입니다. 시뮬레이션 등 FP64 작업이 AI와 클러스터를 함께 쓰는 경우에는 B200을 선택하십시오. 8 x 270GB: B300 노드에 무엇이 들어가는가에서는 405B 및 70B 모델의 경우를 단계별로 살펴봅니다.

사전 예약: GB300 NVL72 및 Vera Rubin

GB300 NVL72는 Blackwell Ultra GPU 72개와 Grace CPU 36개를 하나의 NVLink 도메인으로 묶은 액체 냉각식 랙으로, NVIDIA 수치 기준 HBM3e 20 TB와 총 130 TB/s의 NVLink 대역폭을 갖습니다. Vera Rubin은 NVIDIA의 차세대 플랫폼으로 Rubin GPU당 288 GB의 HBM4를 탑재하며, 1Legion은 Rubin 서버를 발주해 두었습니다. 두 제품 모두 사전 예약으로 제공됩니다. 1Legion의 시설 요구 사항에는 GB300 NVL72 및 이후 시스템을 위한 다이렉트 투 칩 액체 냉각 도입 경로가 포함됩니다.

추론: RTX PRO 6000 Blackwell 및 L40S

RTX PRO 6000 Blackwell 서버는 각각 GDDR7 96 GB를 갖춘 GPU 8개(서버당 768 GB)를 탑재하며, 몬트리올에서 제공됩니다. L40S 서버는 각각 GDDR6 48 GB를 갖춘 GPU 8개를 탑재합니다. 두 카드 모두 NVLink가 없어 GPU 간 데이터는 PCIe로 주고받으므로, 이 서버는 96 GB 카드 한 장에 FP8로 올리는 70B 모델처럼 각 레플리카가 GPU 하나 또는 몇 개에 들어가는 모델에 적합합니다. 8 x 96GB: RTX PRO 6000 Blackwell 노드에 무엇이 들어가는가에서 메모리 계산을 단계별로 설명합니다.

그래픽 및 미디어: GeForce 및 RTX 워크스테이션 카드

RTX 5090(32 GB), RTX 4090(24 GB), RTX A6000(48 GB) 서버는 GPU 8개를, RTX 4000 Ada(20 GB)와 RTX A4000(16 GB) 서버는 GPU 4개를 탑재합니다.

각 서버에는 3가지 표시 중 하나가 붙어 있으며, 하드웨어의 현재 상태를 나타냅니다.

선택 범위는 4가지 질문으로 좁혀집니다. GPU마다 필요한 메모리 양, GPU 간 통신 방식, 작업이 걸쳐 있는 서버 수, 워크로드의 종류입니다.

GPU당 메모리

어떤 모델이 들어가는지는 메모리가 결정합니다. 가중치에 더해 추론에서는 KV 캐시, 학습에서는 옵티마이저 상태와 활성화 값이 GPU 메모리에 올라가야 하며, FP8의 70B 파라미터 모델은 가중치만으로 약 70 GB가 필요합니다. 70GB 가중치와 GPU 4종에서는 메모리 크기별로 KV 캐시에 남는 용량을 보여 줍니다.

인터커넥트

하나의 모델을 여러 GPU에 나누어 실행할 때는 GPU 간 대역폭이 속도를 좌우합니다. HGX B300 및 B200 서버는 각 GPU에 1.8 TB/s의 NVLink를 제공하고 GB300 NVL72는 GPU 72개를 하나의 NVLink 도메인으로 묶는 반면, PCIe 서버는 PCIe 버스에 의존합니다(L40S는 64 GB/s). 서버 간에는 HGX B300 클러스터가 GPU당 800 Gb/s의 레일 최적화 완전 논블로킹 패브릭을 사용합니다.

클러스터 규모

서버 한 대를 넘어서면 1Legion의 레퍼런스 클러스터는 HGX B300 노드 64개, 128개 또는 288개로 구성되어 하나의 전용 패브릭에서 최대 GPU 2,304개를 운영하며, 설계는 그 이상으로도 확장됩니다. GPU 클러스터와 납품 사양서를 참조하십시오.

워크로드