規格
| GPU | |
|---|---|
| 架構 | NVIDIA Ada Lovelace（AD102） |
| 記憶體 | 24 GB GDDR6X，384 位元，21 Gbps |
| 記憶體頻寬 | 1,008 GB/s |
| L2 快取 | 72 MB |
| CUDA 核心 | 16,384 |
| Tensor 核心 | 512 個，第四代 |
| RT 核心 | 128 個，第三代，191 TFLOPS |
| AI TOPS（NVIDIA） | 1,321 |
| FP8 Tensor，FP16 累加 | 稀疏 1,321.2 TFLOPS，密集 660.6 TFLOPS |
| FP16 Tensor，FP16 累加 | 稀疏 660.6 TFLOPS，密集 330.3 TFLOPS |
| FP32 | 82.6 TFLOPS |
| 加速時脈 | 2.52 GHz |
| 影片引擎 | 2 個 NVENC（第八代）、第五代 NVDEC，支援 AV1 編碼與解碼 |
| 互連 | PCIe Gen 4；無 NVLink |
| 顯示卡總功耗 | 450 W |
| 參考顯示卡 | 3 槽，304 mm x 137 mm（Founders Edition） |
| 交付時的伺服器配置 | |
|---|---|
| 每台伺服器的 GPU 數 | 8 |
| 每台伺服器的 GPU 記憶體 | 192 GB（8 x 24 GB） |
| 每台伺服器的 GPU 功耗 | 依 NVIDIA 額定值為 3,600 W（8 x 450 W） |
| 顯示卡型號 | 在您的提案書中確認 |
| CPU、系統記憶體、儲存與網路 | 依您的需求配置，並在您的提案書中確認 |
典型工作負載
- GPU 渲染、最終影格與外觀開發
- 擴散模型影像生成
- 可放入每顆 GPU 24 GB 的模型推論
- AV1 影片編碼
租用配備八顆 NVIDIA GeForce RTX 4090 GPU 的專屬伺服器，用於 GPU 渲染、影像生成與較小模型的推論。RTX 4090 伺服器依需求提供，依您的要求配置，採 36、48 或 60 個月合約。
RTX 4090 的適用對象
RTX 4090 適合每顆 GPU 24 GB 即可容納、且已針對 Ada Lovelace 架構調校的渲染與影像管線。每顆 GPU 配備 24 GB GDDR6X，每台伺服器共 192 GB。
典型工作包括最終影格與外觀開發渲染、擴散模型影像生成，以及連同 KV 快取可放入 24 GB 的模型推論，每顆 GPU 各自處理自己的任務。專屬伺服器中的八顆 GPU 為渲染或生成佇列提供八個獨立的工作單元，且機器上沒有其他租戶。
它的優勢
- 記憶體：24 GB GDDR6X，頻寬 1,008 GB/s，384 位元匯流排，速率 21 Gbps，搭配 72 MB L2 快取。
- 運算：16,384 個 CUDA 核心，在 2.52 GHz 加速時脈下 FP32 效能為 82.6 TFLOPS。
- Tensor 核心：512 個第四代 Tensor 核心。NVIDIA 標示的 1,321 AI TOPS 與其稀疏 FP8 數值相符；密集 FP8 為 660.6 TFLOPS（FP16 累加）。
- 光線追蹤：128 個第三代 RT 核心，額定 191 TFLOPS。
- 影片：兩個第八代 NVENC 引擎與一個第五代 NVDEC，支援 AV1 編碼與解碼。
- 功耗：每張顯示卡總功耗 450 W，依 NVIDIA 額定值計算，八顆 GPU 合計 3,600 W。
RTX 4090 沒有 NVLink；GPU 之間透過 PCIe Gen 4 通訊。必須分散到多顆 GPU 的模型，應使用具備 NVLink 的伺服器，例如 A100 80GB 或 HGX Blackwell 伺服器。
交付時的配置
RTX 4090 伺服器依您的要求配置，並在您的提案書中確認：顯示卡型號、CPU、系統記憶體、本機 NVMe 與網路。NVIDIA 的數值以其 Founders Edition（3 槽顯示卡）為準，而 NVIDIA 指出，板卡合作夥伴推出的顯示卡在時脈、功耗與尺寸上可能不同，因此您的提案書會註明您伺服器中的顯示卡。
每台伺服器在交付前都會完成燒機測試，結果載於驗收報告中。我們的燒機與驗收頁面說明整個流程。
租用方式
RTX 4090 伺服器依需求提供。請告訴我們伺服器數量、合約期與開始日期，我們會回覆一份書面提案書，列出配置與交付時程。
您以 36、48 或 60 個月的合約租用整台 8-GPU 伺服器，合約期越長，費率越低。實際使用伺服器的公司須在簽約前填妥三份開戶表單。您在簽約時支付預付款，之後在整個合約期內支付單一固定月費，搬移場景、材質與影格不收取資料傳出費用。我們的採購方式頁面說明每個步驟。
工作負載與替代方案
RTX 4090 適合 GPU 渲染、擴散模型影像生成，以及每顆 GPU 24 GB 內可容納的模型推論。13B 參數的模型以 FP16 執行約需 26 GB，超過單顆 RTX 4090 的容量；以 FP8 執行約需 13 GB，還能留出 KV 快取的空間。
我們的媒體與娛樂頁面介紹渲染與視覺特效管線，生成式影片頁面則介紹擴散模型工作負載。在專屬裸機上執行 ComfyUI 與 AI 影片說明每項工作擁有完整 VRAM 為何重要，揭露雲端 GPU 配置真實成本的 10 個問題則可協助您比較目前的支出。
當 24 GB 成為限制時，RTX 5090 提供 32 GB，頻寬 1,792 GB/s。若需要 48 GB、ECC，以及成對顯示卡之間的 NVLink 橋接器，請參閱 RTX A6000。
買方常見問題
RTX 4090 還是 RTX 5090：我們該租用哪一款？
RTX 5090 具備 32 GB，頻寬 1,792 GB/s，並在 Blackwell 架構上支援 FP4；RTX 4090 具備 24 GB，頻寬 1,008 GB/s。如果您的工作可放入 24 GB，且管線已針對 Ada Lovelace 調校，請選擇 RTX 4090。
1,321 AI TOPS 代表什麼？
這是 NVIDIA 為 RTX 4090 標示的 AI TOPS 數值。NVIDIA 的 Ada 架構白皮書列出相同的 1,321.2，即使用稀疏性時 FP8 Tensor 搭配 FP16 累加的數值；不使用稀疏性時則為 660.6 TFLOPS。
這八顆 GPU 有透過 NVLink 互連嗎？
沒有。GeForce RTX 4090 沒有 NVLink，因此 GPU 之間透過 PCIe Gen 4 通訊。每顆 GPU 各自渲染自己的影格或執行自己的工作時，效果最好。
伺服器中使用哪款 RTX 4090 顯示卡？
顯示卡型號會在您的提案書中確認。NVIDIA 的數值以其 Founders Edition（3 槽顯示卡）為準，而 NVIDIA 指出，板卡合作夥伴推出的顯示卡在時脈、功耗與尺寸上可能不同。
有哪些合約期可選擇？
36、48 或 60 個月，合約期越長，費率越低。您在簽約時支付預付款，之後在整個合約期內支付單一固定月費，且不收取資料傳出費用。