사양
| GPU | |
|---|---|
| 아키텍처 | NVIDIA Ada Lovelace(AD102) |
| 메모리 | 24 GB GDDR6X, 384비트, 21 Gbps |
| 메모리 대역폭 | 1,008 GB/s |
| L2 캐시 | 72 MB |
| CUDA 코어 | 16,384 |
| Tensor 코어 | 512개, 4세대 |
| RT 코어 | 128개, 3세대, 191 TFLOPS |
| AI TOPS(NVIDIA 기준) | 1,321 |
| FP8 Tensor, FP16 누산 | 1,321.2 TFLOPS(희소성 적용), 660.6 TFLOPS(희소성 미적용) |
| FP16 Tensor, FP16 누산 | 660.6 TFLOPS(희소성 적용), 330.3 TFLOPS(희소성 미적용) |
| FP32 | 82.6 TFLOPS |
| 부스트 클럭 | 2.52 GHz |
| 비디오 엔진 | NVENC 2개(8세대), 5세대 NVDEC, AV1 인코딩 및 디코딩 |
| 인터커넥트 | PCIe Gen 4, NVLink 없음 |
| 총 그래픽 전력 | 450 W |
| 레퍼런스 카드 | 3슬롯, 304 mm x 137 mm(Founders Edition) |
| 납품 시 서버 구성 | |
|---|---|
| 서버당 GPU | 8 |
| 서버당 GPU 메모리 | 192 GB(8 x 24 GB) |
| 서버당 GPU 전력 | NVIDIA 정격 기준 3,600 W(8 x 450 W) |
| 카드 모델 | 제안서에서 확정 |
| CPU, 시스템 메모리, 스토리지 및 네트워크 | 귀사의 요구 사항에 맞춰 구성, 제안서에서 확정 |
주요 워크로드
- GPU 렌더링, 최종 프레임 및 룩 디벨롭먼트
- 디퓨전 이미지 생성
- GPU당 24 GB에 들어가는 모델의 추론
- AV1 영상 인코딩
GPU 렌더링, 이미지 생성 및 소형 모델 추론을 위해 NVIDIA GeForce RTX 4090 GPU 8개를 탑재한 전용 서버를 임대하실 수 있습니다. RTX 4090 서버는 요청 시 제공되며, 귀사의 요구 사항에 맞게 구성하여 36개월, 48개월 또는 60개월 계약으로 제공합니다.
RTX 4090 대상 고객
RTX 4090은 GPU당 24 GB에 들어가고 이미 Ada Lovelace 아키텍처에 맞게 튜닝된 렌더링 및 이미지 파이프라인에 적합합니다. 각 GPU는 24 GB GDDR6X를 탑재하며, 서버당 192 GB입니다.
일반적인 작업은 최종 프레임과 룩 디벨롭먼트 렌더링, 디퓨전 이미지 생성 및 KV 캐시를 포함해 24 GB에 들어가는 모델의 추론으로, 각 GPU가 자체 작업을 처리합니다. 전용 서버의 GPU 8개는 렌더링 또는 생성 대기열에 독립된 워커 8개를 제공하며, 해당 머신에는 다른 테넌트가 없습니다.
강점
- 메모리: 24 GB GDDR6X로, 21 Gbps 속도의 384비트 버스에서 1,008 GB/s를 제공하며 L2 캐시는 72 MB입니다.
- 연산 성능: CUDA 코어 16,384개, 2.52 GHz 부스트 클럭에서 FP32 성능 82.6 TFLOPS.
- Tensor 코어: 4세대 Tensor 코어 512개. NVIDIA가 제시하는 1,321 AI TOPS는 희소성을 적용한 FP8 수치와 일치하며, 희소성을 적용하지 않은 FP8은 FP16 누산 기준 660.6 TFLOPS입니다.
- 레이 트레이싱: 3세대 RT 코어 128개, 공칭 성능 191 TFLOPS.
- 영상: 8세대 NVENC 엔진 2개와 5세대 NVDEC를 탑재하며 AV1 인코딩 및 디코딩을 지원합니다.
- 전력: NVIDIA 정격 기준 카드당 총 그래픽 전력 450 W, GPU 8개 합계 3,600 W.
RTX 4090은 NVLink가 없으며, GPU 간 통신은 PCIe Gen 4로 이루어집니다. 여러 GPU에 분할해야 하는 모델은 A100 80GB 또는 HGX Blackwell 서버처럼 NVLink를 갖춘 서버에 적합합니다.
납품 시 구성
RTX 4090 서버는 귀사의 요구 사항에 맞게 구성되며, 카드 모델, CPU, 시스템 메모리, 로컬 NVMe 및 네트워크는 제안서에서 확정됩니다. NVIDIA의 수치는 3슬롯 카드인 Founders Edition 기준이며, NVIDIA는 보드 파트너 카드의 클럭, 전력 및 크기가 다를 수 있다고 밝히고 있으므로, 귀사 서버에 들어가는 카드는 제안서에 명시합니다.
모든 서버는 인도 전에 번인 테스트를 거치며, 결과는 검수 보고서에 담깁니다. 그 과정은 번인 테스트 및 검수 페이지에서 설명합니다.
임대 절차
RTX 4090 서버는 요청 시 제공됩니다. 서버 수, 약정 기간 및 시작일을 알려 주시면 구성과 납품 일정을 담은 서면 제안서로 회신합니다.
8-GPU 서버 전체를 36개월, 48개월 또는 60개월 계약으로 임대하며, 약정 기간이 길수록 요금이 낮아집니다. 서버를 실제로 사용할 회사는 계약 체결 전에 온보딩 양식 3종을 작성합니다. 계약 체결 시 계약금을 지급하시고 이후 약정 기간 내내 단일 월 고정 요금을 지급하시며, 옮기시는 씬, 텍스처 및 프레임에는 이그레스 요금이 없습니다. 각 단계는 구매 방법 페이지에서 확인하실 수 있습니다.
워크로드 및 대안
RTX 4090은 GPU 렌더링, 디퓨전 이미지 생성 및 GPU당 24 GB 이내에 들어가는 모델의 추론에 적합합니다. 13B 파라미터 모델은 FP16에서 약 26 GB를 차지해 RTX 4090 한 장에 담을 수 있는 양을 넘지만, FP8에서는 약 13 GB를 차지해 KV 캐시를 위한 여유가 남습니다.
렌더링 및 VFX 파이프라인은 미디어 및 엔터테인먼트 페이지에서, 디퓨전 워크로드는 생성형 영상 페이지에서 다룹니다. 전용 베어메탈에서 실행하는 ComfyUI와 AI 영상에서는 작업마다 VRAM 전체를 쓰는 것이 왜 중요한지 설명하며, 클라우드 GPU 환경의 실제 비용을 드러내는 10가지 질문은 현재 지불하시는 비용을 비교하는 데 도움이 됩니다.
24 GB가 한계라면 RTX 5090은 1,792 GB/s의 32 GB를 제공합니다. ECC와 카드 두 장씩 연결하는 NVLink 브리지를 갖춘 48 GB가 필요하다면 RTX A6000을 참고해 주십시오.
구매자가 묻는 질문
RTX 4090과 RTX 5090 중 어느 것을 임대해야 하나요?
RTX 5090은 1,792 GB/s의 32 GB 메모리와 Blackwell의 FP4 지원을 갖추고 있으며, RTX 4090은 1,008 GB/s의 24 GB입니다. 작업이 24 GB에 들어가고 파이프라인이 Ada Lovelace에 맞게 튜닝되어 있다면 RTX 4090을 선택하십시오.
1,321 AI TOPS는 무엇을 의미하나요?
NVIDIA가 RTX 4090에 대해 표기하는 AI TOPS 수치입니다. NVIDIA의 Ada 아키텍처 백서는 희소성을 적용한 FP16 누산 FP8 Tensor에 대해 같은 1,321.2를, 희소성을 적용하지 않은 경우 660.6 TFLOPS를 제시합니다.
GPU 8개는 NVLink로 연결되어 있나요?
아니요. GeForce RTX 4090은 NVLink가 없으므로 GPU 간 통신은 PCIe Gen 4로 이루어집니다. 각 GPU가 자체 프레임을 렌더링하거나 자체 작업을 실행할 때 가장 효과적입니다.
서버에는 어떤 RTX 4090 카드가 들어가나요?
카드 모델은 제안서에서 확정됩니다. NVIDIA의 수치는 3슬롯 카드인 Founders Edition 기준이며, NVIDIA는 보드 파트너 카드의 클럭, 전력 및 크기가 다를 수 있다고 밝히고 있습니다.
어떤 계약 기간을 선택할 수 있나요?
36개월, 48개월 또는 60개월이며, 약정 기간이 길수록 요금이 낮아집니다. 계약 체결 시 계약금을 납부하시고, 이후 전체 약정 기간 동안 단일 월 고정 요금을 납부하시며, 이그레스 요금은 없습니다.