사양
| GPU | |
|---|---|
| 에디션 | NVIDIA RTX PRO 6000 Blackwell Server Edition |
| 아키텍처 | NVIDIA Blackwell |
| 메모리 | ECC 지원 96 GB GDDR7, 512비트 |
| 메모리 대역폭 | 1,597 GB/s |
| CUDA 코어 | 24,064 |
| Tensor 코어 | 752개, 5세대 |
| RT 코어 | 188개, 4세대 |
| FP4 최대 성능 | 4 PFLOPS(희소성 적용 여부는 NVIDIA 미명시) |
| FP32 | 120 TFLOPS |
| RT 코어 성능 | 355 TFLOPS |
| 미디어 엔진 | NVENC 4개, NVDEC 4개, JPEG 4개 |
| Multi-Instance GPU | 인스턴스 최대 4개(24 GB), 2개(48 GB) 또는 1개(96 GB) |
| GPU 인터커넥트 | PCIe 5.0 x16, NVLink 없음 |
| GPU당 전력 | 설정 가능, 최대 600 W |
| 폼 팩터 | 듀얼 슬롯, 풀 하이트, 풀 렝스, 패시브 냉각 |
| 납품 시 서버 구성 | |
|---|---|
| 서버당 GPU | 8 |
| 서버당 GPU 메모리 | 768 GB(8 x 96 GB) |
| CPU, 시스템 메모리 및 스토리지 | 귀사의 요구 사항에 맞춰 구성, 제안서에서 확정 |
| 네트워크 | 귀사의 요구 사항에 맞춰 구성, 제안서에서 확정 |
| 위치 | 캐나다 몬트리올 |
주요 워크로드
- FP8 또는 FP4 기반 70B급 모델의 LLM 추론
- ComfyUI 등 생성형 영상 및 이미지 파이프라인
- 렌더링, VFX 및 버추얼 프로덕션
- 영상 트랜스코딩 및 스트리밍
몬트리올에서 제공하는 NVIDIA RTX PRO 6000 Blackwell GPU 8개 탑재 전용 서버를 임대하실 수 있습니다. 36개월, 48개월 또는 60개월 계약으로 할당 접수 중이며, 모든 가격은 서면 제안서로 제시합니다.
RTX PRO 6000 Blackwell 대상 고객
RTX PRO 6000 Blackwell은 HGX급 전력이 아닌 최대 600 W에서 GPU당 대용량 메모리가 필요한 팀을 위한 GPU입니다. FP8 또는 FP4로 70B급 모델을 서비스하는 추론 팀, 생성형 영상과 이미지 스튜디오, 그리고 렌더링, 인코딩, 스트리밍까지 처리하는 미디어 파이프라인이 여기에 해당합니다.
각 GPU는 ECC를 지원하는 96 GB GDDR7을 탑재하며, 서버당 768 GB입니다. 70B 파라미터 모델의 FP8 가중치는 약 70 GB이므로 KV 캐시를 위한 여유를 두고 GPU 하나에 들어가며, 같은 모델의 4비트 버전은 약 60 GB의 여유 공간을 남깁니다.
강점
GPU당 96 GB
512비트 버스에서 1,597 GB/s를 내는 96 GB GDDR7을 탑재하며, 작업이 작을 때는 GPU당 최대 4개의 24 GB MIG 인스턴스로 나눌 수 있습니다.
Blackwell Tensor 코어
FP4를 지원하는 5세대 Tensor 코어 752개. NVIDIA는 GPU당 FP4 최대 성능을 4 PFLOPS로 표기하지만 희소성 적용 기준인지는 밝히지 않으며, FP32는 120 TFLOPS로 표기합니다.
미디어 엔진
트랜스코딩 및 영상 파이프라인을 위해 GPU당 NVENC 4개, NVDEC 4개, JPEG 엔진 4개를 갖추며, 서버당 하드웨어 인코더는 32개입니다.
레이 트레이싱
렌더링, VFX 및 시뮬레이션을 위한 4세대 RT 코어 188개와 RT 코어 성능 355 TFLOPS.
GPU는 NVLink 없이 PCIe 5.0 x16으로 연결됩니다. GPU 하나에 들어가거나 몇 개의 GPU에 깔끔하게 분할되는 모델은 RTX PRO 6000에 적합하며, GPU 간 트래픽이 많은 모델은 HGX 서버에 적합합니다.
납품 시 구성
서버는 귀사의 요구 사항에 맞게 구성되며, CPU, 시스템 메모리, 로컬 NVMe 및 네트워크는 제안서에서 확정됩니다. 이 페이지의 수치는 NVIDIA의 패시브 냉각 데이터센터용 카드인 Server Edition 기준이며, GPU당 최대 600 W까지 설정할 수 있습니다.
몬트리올 사이트에는 현장 엔지니어링 지원이 있습니다. 모든 서버는 인도 전에 번인 테스트를 거치고 그 결과는 검수 보고서에 기록되며, 테스트 내용은 번인 테스트 및 검수 페이지에서 설명합니다.
임대 절차
몬트리올에서 RTX PRO 6000 Blackwell 할당 접수 중입니다. 8-GPU 서버 전체를 36개월, 48개월 또는 60개월 계약으로 임대하며, 약정 기간이 길수록 요금이 낮아집니다.
서버를 실제로 사용할 회사는 계약 체결 전에 온보딩 양식 3종을 작성합니다. 계약 체결 시 계약금을 지급하시고 이후 약정 기간 내내 단일 월 고정 요금을 지급하시며, 이그레스 요금은 없습니다. 이는 대용량 영상 파일을 주고받을 때 중요합니다. 시범 사용은 제공하지 않으며, 번인 테스트와 검수 보고서가 이를 대신합니다. 몬트리올은 캐나다 사이트이고 1Legion은 캐나다 기업입니다. 캐나다 GPU 서버를 참고해 주시고, 각 단계는 구매 방법 페이지에서 확인하실 수 있습니다.
워크로드 및 대안
- LLM 추론: FP8 또는 FP4 기반 70B급 모델, GPU당 모델 하나 또는 몇 개의 GPU에 분할. AI 추론을 참고해 주십시오.
- 생성형 영상 및 이미지: 메모리가 해상도, 길이 및 배치 크기를 결정하는 ComfyUI 및 유사한 디퓨전 파이프라인. 생성형 영상을 참고해 주십시오.
- 렌더링, VFX 및 트랜스코딩: 미디어 및 엔터테인먼트를 참고해 주십시오.
규모 산정은 8 x 96 GB: RTX PRO 6000 Blackwell 노드에 무엇이 들어가는가와 전용 베어메탈에서 실행하는 ComfyUI와 AI 영상을 참고해 주십시오. GPU당 48 GB로 충분하다면 L40S를 요청 시 제공하며, 가장 큰 모델에는 GPU당 270 GB를 갖춘 HGX B300이 있습니다.
구매자가 묻는 질문
RTX PRO 6000 Blackwell GPU 하나에는 무엇이 들어가나요?
96 GB에는 FP8 기준 70B 파라미터 모델(가중치 약 70 GB)이 들어가며, KV 캐시를 위한 여유도 남습니다. 규모 산정 과정은 8 x 96 GB: RTX PRO 6000 Blackwell 노드에 무엇이 들어가는가 글에서 자세히 다룹니다.
어떤 에디션의 RTX PRO 6000 Blackwell을 사용하나요?
이 페이지의 수치는 NVIDIA의 패시브 냉각 데이터센터용 버전인 Server Edition 기준이며, GPU당 최대 600 W까지 설정할 수 있습니다. 귀사 서버의 에디션과 전력 설정은 제안서에서 확정됩니다.
GPU는 NVLink로 연결되어 있나요?
아니요. RTX PRO 6000 Blackwell Server Edition은 PCIe 5.0 x16으로 연결됩니다. 모델을 여러 GPU에 분할해야 하고 NVLink 대역폭이 필요하다면 HGX B300을 검토해 주십시오.
서버는 어디에서 호스팅되나요?
캐나다 몬트리올이며, 현장 엔지니어링 지원이 있습니다. 캐나다 사이트를 선택하시면 서버와 스토리지는 캐나다에 위치합니다.
계약 전에 서버를 시범 사용할 수 있나요?
시범 사용은 제공하지 않습니다. 모든 서버는 인도 전에 번인 테스트를 거치며, 그 결과는 검수 보고서로 받아 보실 수 있습니다. 번인 테스트 및 검수를 참고해 주십시오.
어떤 계약 기간을 선택할 수 있나요?
36개월, 48개월 또는 60개월이며, 약정 기간이 길수록 요금이 낮아집니다. 계약 체결 시 계약금을 납부하시고, 이후 전체 약정 기간 동안 단일 월 고정 요금을 납부하시며, 이그레스 요금은 없습니다.