사양
| GPU | |
|---|---|
| 아키텍처 | NVIDIA Blackwell(GB202) |
| 메모리 | 32 GB GDDR7, 512비트, 28 Gbps |
| 메모리 대역폭 | 1,792 GB/s |
| CUDA 코어 | 21,760 |
| Tensor 코어 | 680개, 5세대 |
| RT 코어 | 170개, 4세대, 318 TFLOPS |
| FP4 Tensor(AI TOPS) | 3,352 TFLOPS(희소성 적용), 1,676 TFLOPS(희소성 미적용) |
| FP8 Tensor, FP16 누산 | 1,676 TFLOPS(희소성 적용), 838 TFLOPS(희소성 미적용) |
| FP32 | 104.8 TFLOPS |
| 부스트 클럭 | 2.41 GHz |
| 비디오 엔진 | NVENC 3개(9세대), NVDEC 2개(6세대), AV1 인코딩 및 디코딩 |
| 인터커넥트 | PCIe Gen 5, NVLink 없음 |
| 총 그래픽 전력 | 575 W |
| 레퍼런스 카드 | 2슬롯, 304 mm x 137 mm(Founders Edition) |
| 납품 시 서버 구성 | |
|---|---|
| 서버당 GPU | 8 |
| 서버당 GPU 메모리 | 256 GB(8 x 32 GB) |
| 서버당 GPU 전력 | NVIDIA 정격 기준 4,600 W(8 x 575 W) |
| 카드 모델 | 제안서에서 확정 |
| CPU, 시스템 메모리, 스토리지 및 네트워크 | 귀사의 요구 사항에 맞춰 구성, 제안서에서 확정 |
주요 워크로드
- ComfyUI 파이프라인 등 디퓨전 이미지 및 영상 생성
- GPU당 32 GB에 들어가는 모델의 추론
- GPU 렌더링 및 실시간 그래픽
- AV1 영상 인코딩
생성형 이미지와 영상, 렌더링 및 소형 모델 추론을 위해 NVIDIA GeForce RTX 5090 GPU 8개를 탑재한 전용 서버를 임대하실 수 있습니다. RTX 5090 서버는 요청 시 제공되며, 귀사의 요구 사항에 맞게 구성하여 36개월, 48개월 또는 60개월 계약으로 제공합니다.
RTX 5090 대상 고객
RTX 5090은 GPU당 작업 하나를 실행하고 대용량 메모리보다 빠른 메모리가 더 필요한 파이프라인을 위한 GPU입니다. 디퓨전 이미지와 영상 생성, GPU 렌더링 및 32 GB에 들어가는 모델의 추론이 여기에 해당합니다. 각 GPU는 32 GB GDDR7을 탑재하며(서버당 256 GB), 5세대 Tensor 코어에서 FP4를 지원하는 Blackwell 아키텍처 기반입니다.
프레임을 병렬로 렌더링하거나 생성하는 팀은 서버당 독립된 GPU 8개를 사용하실 수 있으며, 각 GPU는 카드의 메모리와 대역폭 전체를 사용하고 해당 머신에는 다른 테넌트가 없습니다.
강점
가장 두드러지는 점은 메모리 대역폭입니다. NVIDIA는 RTX 5090의 대역폭을 28 Gbps 속도의 512비트 버스에서 1,792 GB/s로 제시하며, 이는 GPU당 기준으로 RTX PRO 6000 Blackwell Server Edition의 1,597 GB/s보다 높습니다.
- 연산 성능: CUDA 코어 21,760개, FP32 성능 104.8 TFLOPS. NVIDIA가 제시하는 3,352 AI TOPS는 희소성을 적용한 FP4 수치이며, 희소성을 적용하지 않은 FP4는 1,676 TFLOPS입니다.
- Tensor 코어 및 RT 코어: 5세대 Tensor 코어 680개와 4세대 RT 코어 170개, 레이 트레이싱 공칭 성능 318 TFLOPS.
- 영상: GPU당 9세대 NVENC 엔진 3개와 6세대 NVDEC 엔진 2개를 탑재하며 AV1 인코딩 및 디코딩을 지원합니다.
- 전력: NVIDIA 정격 기준 카드당 총 그래픽 전력 575 W, GPU 8개 합계 4,600 W.
RTX 5090은 NVLink가 없습니다. GPU 간 통신은 PCIe Gen 5로 이루어지므로, 여러 GPU에 분할한 모델보다는 카드당 디퓨전 작업 하나처럼 각 GPU에서 독립적으로 실행되는 작업에 적합합니다.
납품 시 구성
RTX 5090 서버는 귀사의 요구 사항에 맞게 구성되며, 카드 모델, CPU, 시스템 메모리, 스토리지 및 네트워크를 포함한 구성은 제안서에서 확정됩니다.
번인 테스트 및 검수 페이지에서 설명하듯이, 모든 서버는 인도 전에 번인 테스트를 거치며 그 결과는 검수 보고서에 기록됩니다.
임대 절차
RTX 5090 서버는 요청 시 제공됩니다. 필요한 서버 수, 사용 기간 및 시작 시점을 알려 주시면 서면 제안서로 납품 일정을 확정합니다. 8-GPU 서버 전체를 36개월, 48개월 또는 60개월 계약으로 임대하며, 약정 기간이 길수록 요금이 낮아집니다.
서버를 실제로 사용할 회사는 계약 체결 전에 온보딩 양식 3종을 작성합니다. 계약 체결 시 계약금을 지급하신 뒤 약정 기간 내내 단일 월 고정 요금이 적용되며, 옮기시는 미디어에는 이그레스 요금이 없습니다. 시범 사용은 제공하지 않으며, 번인 테스트와 검수 보고서가 이를 대신합니다. 각 단계는 구매 방법 페이지에서 설명합니다.
워크로드 및 대안
RTX 5090은 ComfyUI 및 유사한 디퓨전 파이프라인, 렌더링, 가중치와 KV 캐시가 GPU당 32 GB 이내에 머무는 추론에 적합합니다. 24B 파라미터 모델은 FP8에서 약 24 GB를 차지하므로, 카드에는 KV 캐시와 작업 메모리용으로 약 8 GB가 남습니다.
전용 서버에서의 디퓨전 파이프라인은 생성형 영상 페이지에서 다룹니다. RTX 5090을 대규모로 운영하는 실제 비용은 데이터 이동과 유휴 시간을 살펴보며, 전용 베어메탈에서 실행하는 ComfyUI와 AI 영상은 파이프라인 자체를 다룹니다.
해상도, 클립 길이 또는 배치 크기에 비해 32 GB가 부족하다면, RTX PRO 6000 Blackwell은 ECC를 갖춘 GPU당 96 GB를 제공합니다. Ada Lovelace에 맞게 튜닝된 파이프라인이라면 RTX 4090을 참고해 주십시오.
구매자가 묻는 질문
RTX 5090과 RTX PRO 6000 Blackwell 중 어느 것을 임대해야 하나요?
RTX PRO 6000 Blackwell은 GPU당 메모리가 3배(96 GB 대 32 GB)이고 ECC와 서버용 패시브 냉각 설계를 갖추었으며, 몬트리올에서 할당 접수 중입니다. RTX 5090은 GPU당 메모리 대역폭이 1,792 GB/s 대 1,597 GB/s로 더 높으며, 32 GB에 들어가는 작업에 적합합니다.
3,352 AI TOPS는 무엇을 의미하나요?
NVIDIA의 RTX Blackwell 아키텍처 백서에 나오는 RTX 5090의 희소성 적용 시 FP4 Tensor 최대 수치입니다. 희소성을 적용하지 않으면 1,676 TFLOPS입니다.
GPU 8개는 NVLink로 연결되어 있나요?
아니요. GeForce RTX 5090은 NVLink가 없으므로 GPU 간 통신은 PCIe Gen 5로 이루어집니다. 각 GPU에서 독립된 작업을 실행하는 파이프라인에 가장 적합합니다.
서버에는 어떤 RTX 5090 카드가 들어가나요?
카드 모델은 제안서에서 확정됩니다. 이 페이지의 NVIDIA 수치는 Founders Edition 또는 레퍼런스 설계 기준이며, NVIDIA는 보드 파트너 카드가 이와 다를 수 있다고 밝히고 있습니다.
어떤 계약 기간을 선택할 수 있나요?
36개월, 48개월 또는 60개월이며, 약정 기간이 길수록 요금이 낮아집니다. 계약 체결 시 계약금을 납부하시고, 이후 전체 약정 기간 동안 단일 월 고정 요금을 납부하시며, 이그레스 요금은 없습니다.