1Legion은 AI 추론용 GPU 서버를 서버 전체 단위로 임대합니다. NVIDIA GPU 8개가 귀사 트래픽만 처리하며, 귀사 서빙 스택과 하드웨어 사이에 하이퍼바이저가 없습니다. 처리 중인 모든 요청의 가중치와 KV 캐시가 GPU에 담겨야 하므로, 서버는 GPU당 메모리를 기준으로 선택하시게 됩니다.
전용 추론 서버로 예측 가능한 지연 시간 유지
전용 서버에서 GPU 메모리와 메모리 대역폭을 놓고 경쟁하는 요청은 귀사의 요청뿐입니다.
덴스 모델은 토큰을 하나 생성할 때마다 GPU 메모리에서 모든 가중치를 읽어야 하므로, 메모리 대역폭이 디코딩 속도를 결정합니다. FP8 기준 70B 파라미터 모델의 가중치는 70 GB이고, HGX B300 GPU는 7.7 TB/s로 메모리를 읽으므로, KV 캐시 읽기를 제외하면 단일 시퀀스의 상한은 초당 약 110 토큰입니다. 배칭을 사용하면 같은 읽기로 여러 시퀀스를 처리할 수 있습니다. 공유 하드웨어에서는 다른 테넌트의 부하에 따라 이 상한이 달라집니다. 1Legion 하드웨어에는 테넌트가 하나뿐이고 하이퍼바이저가 없으며, 1Legion 측의 변경은 서면 변경 관리 절차를 따르고 고위험 유지보수는 최소 7일 전에 통지합니다. 그 원리는 공유 GPU 인프라에서 LLM 추론이 무너지는 이유에 관한 글에서 설명합니다.
가중치와 KV 캐시로 규모를 산정하는 LLM 추론 하드웨어
필요한 메모리는 모델 가중치와 모든 동시 시퀀스의 KV 캐시, 그리고 활성화 값과 런타임을 위한 여유 공간을 합한 것입니다.
가중치는 FP16 또는 BF16에서 파라미터당 2바이트, FP8에서 1바이트, FP4에서 0.5바이트를 차지하므로, 70B 파라미터 모델에는 각각 140 GB, 70 GB 또는 35 GB가 필요합니다. KV 캐시는 처리 중인 토큰마다 늘어납니다. 80개 레이어와 8개 KV 헤드를 갖춘 Llama 3 70B급 모델은 16비트 정밀도에서 토큰당 약 0.33 MB를 저장하며, 32,768토큰 시퀀스 하나에는 약 10.7 GB가 필요합니다.
| FP8 70B 모델, GPU 1개 | 가중치 적재 후 남는 메모리 | 8K 시퀀스 동시 처리 수 | 32K 시퀀스 동시 처리 수 |
|---|---|---|---|
| HGX B300, 270 GB | 약 200 GB | 약 74개 | 약 18개 |
| RTX PRO 6000 Blackwell, 96 GB | 약 26 GB | 약 9개 | 약 2개 |
이 수치는 상한값입니다. 활성화 값과 프레임워크 오버헤드를 고려하지 않고 16비트 KV 캐시를 가정한 값이며, 캐시를 양자화하면 수치가 늘어납니다. 자세한 계산은 96 GB와 270 GB에서 KV 캐시에 남는 메모리에서 확인할 수 있습니다.
모델별 적합한 서버
HGX B300은 가장 큰 모델과 가장 긴 컨텍스트를, RTX PRO 6000 Blackwell은 FP8 또는 FP4의 70B급 모델을, L40S는 더 작은 모델을 서빙합니다.
HGX B300
GPU당 HBM3e 270 GB(7.7 TB/s), 서버당 2.1 TB. FP4 기준 약 203 GB인 405B 파라미터 모델이 GPU 1개에 들어가며, 캐시용으로 약 67 GB가 남습니다. 할당 접수 중, 토론토.
RTX PRO 6000 Blackwell
GPU당 ECC 지원 GDDR7 96 GB, 서버당 768 GB, 5세대 Tensor 코어에서 FP8 및 FP4 지원. FP4 기준 70B 모델은 GPU당 약 61 GB를 캐시용으로 남깁니다. 할당 접수 중, 몬트리올.
L40S
GPU당 ECC 지원 GDDR6 48 GB(864 GB/s), 서버당 384 GB, FP8 733 TFLOPS(희소성 미적용). FP16 기준 8B 파라미터 모델은 16 GB를 차지하고 캐시용으로 약 32 GB를 남깁니다. 요청 시 제공.
하나의 모델에 서버 한 대의 메모리보다 많은 용량이 필요할 때는, 사전 예약으로 제공하는 GB300 NVL72가 GPU 72개와 HBM3e 20 TB를 130 TB/s의 NVLink 대역폭을 갖춘 단일 NVLink 도메인에 담습니다.
GPU당 레플리카 1개, 서버당 8개
8-GPU 서버는 8개의 독립된 메모리 풀이므로, 대부분의 배포에서는 로드 밸런서 뒤에서 GPU당 모델 레플리카 1개를 실행합니다.
HGX B300에서는 FP8 기준 70B 모델의 레플리카 8개를 실행해 각각 32K 토큰 시퀀스를 약 18개씩 처리하거나, GPU당 1.8 TB/s의 NVLink로 연결된 GPU 2개짜리 FP8 기준 405B 모델 레플리카 4개를 실행할 수 있습니다. RTX PRO 6000 Blackwell GPU는 NVLink가 아닌 PCIe 5.0 x16으로 연결되므로 GPU별 레플리카가 적합합니다. FP4 기준 70B 레플리카 8개를 실행하거나, GPU 4개로 서빙하면서 나머지 4개로 다음 버전을 파인튜닝할 수 있습니다. 메모리 대역폭은 B300 GPU의 약 5분의 1이므로, 최저 단일 스트림 지연 시간보다는 배치 서빙에 더 적합합니다. 소형 모델의 경우 MIG를 사용하면 RTX PRO 6000 1개를 최대 4개의 24 GB 인스턴스로, B300 GPU 1개를 최대 7개 인스턴스로 분할할 수 있습니다. 구체적인 배치는 B300 노드에 담을 수 있는 것 및 RTX PRO 6000 노드에 담을 수 있는 것에 관한 글에서 확인할 수 있습니다.
엣지에서 공용 트래픽 서빙
납품 사양서에 따라 구축한 HGX B300 클러스터의 엣지 네트워크는 공용 추론 엔드포인트를 위해 설계되었습니다.
- 회선당 100 Gb/s의 독립된 트랜짓 사업자 2곳, 물리적으로 분리된 경로, eBGP 및 BFD 적용.
- 전용 공인 서비스 주소(일반적으로 8개), BGP로 광고되는 귀사 VIP, 5초 이내 페일오버 및 IPv6 듀얼 스택.
- 최소 1 Tb/s의 레이어 3 및 레이어 4 볼류메트릭 DDoS 스크러빙, BGP를 통해 5분 이내 활성화.
- 동시 세션 최소 1,000만 개를 지원하는 이중화 NAT 페어와 전용 SNAT 주소.
- 귀사 소유 IP 공간 및 ASN 사용, RPKI ROA 준수.
전체 설계는 스토리지 및 네트워킹에서, B300 기반 서빙은 프로덕션 추론을 위한 B300에서 다룹니다.
추론 서버 운영 위치
HGX B300은 토론토에서, RTX PRO 6000 Blackwell 및 기타 추론 서버는 몬트리올에서 운영됩니다.
토론토
운영 중NVIDIA HGX B300 서버 및 클러스터.
몬트리올
운영 중현장 엔지니어링 지원을 갖춘 RTX PRO 6000 Blackwell 및 기타 추론 서버.
델라웨어
가동 준비 중미국 내 컴퓨팅이 필요한 고객을 위한 HGX B300 용량.
헬싱키
개발 중향후 유럽 용량 확보를 위해 개발 중인 브라운필드 데이터센터 사이트.
파트너 네트워크: 북미, 유럽, 아프리카 및 호주 26개 도시의 데이터센터 49곳. 전체 위치 보기
미국 델라웨어의 HGX B300 용량은 가동 준비 중입니다. 데이터가 캐나다에 있어야 한다면 토론토 또는 몬트리올을 선택해 주십시오. 1Legion 데이터센터 및 캐나다 GPU 클라우드를 참조해 주십시오.
추론 서버 임대 방식
추론 서버는 서면 제안서에 명시된 단일 월 고정 요금으로 36개월, 48개월 또는 60개월 동안 서버 전체 단위로 임대되며, 귀사 엔드포인트가 보내는 트래픽에 이그레스 요금이 없습니다.
계약 체결 시 계약금을 지급하시고, 이후 약정 기간 동안 매월 지급하시며, 약정 기간이 길수록 요금이 낮아집니다. 온보딩 양식과 계약은 구매 방법에서 설명합니다.
구매자가 묻는 질문
추론용으로 GPU 하나만 임대할 수 있나요?
아니요. 1Legion은 GPU 8개로 구성된 서버 전체 단위로 임대합니다. GPU당 모델 레플리카 1개 또는 MIG 인스턴스를 사용하면 서버 하나에서 여러 모델을 실행할 수 있습니다.
70B 모델에는 어떤 서버가 적합한가요?
RTX PRO 6000 Blackwell은 96 GB GPU 1개에 FP8 또는 FP4 기준 70B 모델을 담을 수 있습니다. 긴 컨텍스트나 높은 동시성이 필요하다면, HGX B300은 FP8 가중치를 적재한 후에도 GPU당 약 200 GB를 KV 캐시용으로 남깁니다.
토큰당, 요청당 또는 이그레스에 요금을 부과하나요?
아니요. 약정 기간 동안 서버에 대해 단일 월 고정 요금을 지급하시며, 이그레스 요금은 없습니다.
계약 전에 모델을 벤치마크해 볼 수 있나요?
시범 사용이나 PoC는 제공하지 않습니다. 1Legion 엔지니어가 귀사와 함께 모델 가중치, 컨텍스트 길이 및 동시성을 바탕으로 서버 규모를 산정하며, 모든 클러스터는 인도 전에 번인 테스트를 거치고 그 결과는 검수 보고서에 담깁니다.
추론 서버는 어디에 있나요?
HGX B300 서버는 토론토에, RTX PRO 6000 Blackwell 및 기타 추론 서버는 몬트리올에 있습니다. 미국 델라웨어의 HGX B300 용량은 가동 준비 중입니다.
어떤 서빙 소프트웨어를 실행할 수 있나요?
서버가 베어메탈이므로 vLLM, SGLang 또는 TensorRT-LLM 같은 자체 스택을 직접 설치하시면 됩니다. 그 아래 계층에 1Legion이 관리형 Kubernetes를 설치하고 운영해 드릴 수도 있습니다.