워크로드에 맞춘 하드웨어
적합한 서버는 메모리에 올려야 하는 데이터와 GPU가 통신해야 하는 범위에 따라 달라집니다. 이 페이지들은 4가지 작업 유형에 맞는 NVIDIA 서버를 안내합니다.
1Legion은 4가지 작업 유형에 맞춰 전용 NVIDIA GPU 서버를 임대합니다. 아래 각 페이지에서 적합한 서버, 규모를 결정하는 요소, 그리고 서버가 운영되는 위치를 설명합니다.
4가지 워크로드
워크로드마다 가장 먼저 부딪히는 한계가 다릅니다. 학습은 패브릭, 추론은 메모리, 미디어는 인코더와 드라이버, 생성형 영상은 해상도와 길이를 좌우하는 메모리입니다.
AI 학습
장시간 학습 작업에는 번인 테스트를 거친 하드웨어와 논블로킹 패브릭이 필요합니다. 64~288노드 HGX B300 클러스터와 HGX B200 서버를 제공하며, GB300 NVL72와 Vera Rubin은 사전 예약으로 제공합니다.
AI 추론
전용 서버는 지연 시간을 예측 가능하게 유지합니다. 규모는 가중치와 KV 캐시를 합한 용량으로 산정합니다. B300은 GPU당 270 GB, RTX PRO 6000 Blackwell은 96 GB, L40S는 48 GB입니다.
미디어 및 엔터테인먼트
서버 전체 단위로 렌더링, VFX, 버추얼 프로덕션 및 트랜스코딩을 수행하며, 대용량 미디어 전송에 이그레스 요금이 없습니다.
서버 규모 산정 방식
하드웨어는 4가지 질문으로 결정되며, 제안서는 각 질문에 서면으로 답합니다.
- GPU 메모리에 담아야 하는 것: 가중치, KV 캐시 또는 활성화 값, 그리고 런타임을 위한 여유 공간.
- GPU 간 통신 범위: NVLink를 통한 단일 서버 내 통신, 또는 GPU당 800 Gb/s 패브릭을 통한 클러스터 전체 통신.
- 서버 수와 기간: 서버 전체 단위, 36개월, 48개월 또는 60개월 약정, 약정 기간이 길수록 낮은 요금.
- 운영 위치: 토론토와 몬트리올은 운영 중, 델라웨어는 가동 준비 중, 핀란드는 개발 중이며, 파트너 네트워크는 4개 대륙의 더 많은 도시를 포괄합니다.
1Legion이 구축하는 모든 모델은 GPU 서버 카탈로그에 나와 있으며, HGX B300 클러스터의 구축 방식은 납품 사양서에 명시되어 있습니다.
구매자가 묻는 질문
워크로드에 맞는 GPU 서버는 어떻게 결정하나요?
메모리부터 시작합니다. 모델 가중치, KV 캐시 또는 활성화 값, 그리고 여유 공간을 따진 다음, 인터커넥트, 클러스터 규모 및 위치를 검토합니다. 모델 크기와 트래픽을 적은 견적 요청이면 시작하기에 충분합니다.
하나의 계약에 학습용 서버와 추론용 서버를 함께 포함할 수 있나요?
네. 하나의 제안서에 학습용 HGX B300 서버와 추론용 RTX PRO 6000 Blackwell 서버를 함께 포함할 수 있으며, 각각 36개월, 48개월 또는 60개월 약정이 적용됩니다.
테스트용으로 GPU를 시간 단위로 임대하나요?
아니요. 1Legion은 서버 전체를 36~60개월 약정으로 임대하며, 시범 사용 대신 모든 클러스터가 인도 전에 번인 테스트 및 검수를 통과합니다.
서버는 어디에서 운영되나요?
HGX B300 용량은 토론토에, RTX PRO 6000 Blackwell 및 추론 서버는 몬트리올에 있으며, 미국에서 B300 용량이 추가로 가동 준비 중이고, 핀란드 사이트는 개발 중입니다. 데이터센터 페이지를 참조해 주십시오.