规格
| GPU | |
|---|---|
| 架构 | NVIDIA Ada Lovelace（AD102） |
| 内存 | 24 GB GDDR6X，384 位，21 Gbps |
| 显存带宽 | 1,008 GB/s |
| L2 缓存 | 72 MB |
| CUDA 核心 | 16,384 |
| Tensor Core | 512 个，第四代 |
| RT Core | 128 个，第三代，191 TFLOPS |
| AI TOPS（NVIDIA） | 1,321 |
| FP8 Tensor，FP16 累加 | 稀疏 1,321.2 TFLOPS，稠密 660.6 TFLOPS |
| FP16 Tensor，FP16 累加 | 稀疏 660.6 TFLOPS，稠密 330.3 TFLOPS |
| FP32 | 82.6 TFLOPS |
| 加速频率 | 2.52 GHz |
| 视频引擎 | 2 个 NVENC（第八代）、第五代 NVDEC，支持 AV1 编码与解码 |
| 互联 | PCIe Gen 4；无 NVLink |
| 显卡总功耗 | 450 W |
| 参考显卡 | 3 槽，304 mm x 137 mm（Founders Edition） |
| 交付时的服务器配置 | |
|---|---|
| 每台服务器的 GPU 数 | 8 |
| 每台服务器的 GPU 显存 | 192 GB（8 x 24 GB） |
| 每台服务器的 GPU 功耗 | 按 NVIDIA 额定值为 3,600 W（8 x 450 W） |
| 显卡型号 | 在您的方案中确认 |
| CPU、系统内存、存储与网络 | 按您的需求配置，并在您的方案中确认 |
典型工作负载
- GPU 渲染、最终帧与外观开发
- 扩散模型图像生成
- 每块 GPU 24 GB 显存可容纳的模型推理
- AV1 视频编码
租用配备八块 NVIDIA GeForce RTX 4090 GPU 的专属服务器，用于 GPU 渲染、图像生成与较小模型的推理。RTX 4090 服务器按需提供，根据您的要求配置，合同期为 36、48 或 60 个月。
RTX 4090 的适用对象
RTX 4090 适合每块 GPU 24 GB 显存即可容纳、且已针对 Ada Lovelace 架构优化的渲染与图像流水线。每块 GPU 配备 24 GB GDDR6X 显存，每台服务器共 192 GB。
典型作业包括最终帧与外观开发渲染、扩散模型图像生成，以及连同 KV 缓存可装入 24 GB 显存的模型推理，每块 GPU 各自处理自己的任务。专属服务器中的八块 GPU 为渲染或生成队列提供八个独立的工作单元，且机器上没有其他租户。
它的优势
- 显存：24 GB GDDR6X，带宽 1,008 GB/s，384 位总线，速率 21 Gbps，搭配 72 MB L2 缓存。
- 计算：16,384 个 CUDA 核心，在 2.52 GHz 加速频率下 FP32 性能为 82.6 TFLOPS。
- Tensor Core：512 个第四代 Tensor Core。NVIDIA 公布的 1,321 AI TOPS 与其稀疏 FP8 数值相符；稠密 FP8 为 660.6 TFLOPS（FP16 累加）。
- 光线追踪：128 个第三代 RT Core，额定 191 TFLOPS。
- 视频：两个第八代 NVENC 引擎与一个第五代 NVDEC，支持 AV1 编码与解码。
- 功耗：每张显卡总功耗 450 W，按 NVIDIA 额定值计算，八块 GPU 合计 3,600 W。
RTX 4090 没有 NVLink；GPU 之间通过 PCIe Gen 4 通信。必须切分到多块 GPU 上的模型，应部署在配备 NVLink 的服务器上，例如 A100 80GB 或 HGX Blackwell 服务器。
交付时的配置
RTX 4090 服务器根据您的要求配置，并在您的方案中确认：显卡型号、CPU、系统内存、本地 NVMe 与网络。NVIDIA 的数值以其 Founders Edition（3 槽显卡）为准，而 NVIDIA 指出，板卡合作伙伴推出的显卡在频率、功耗与尺寸上可能不同，因此您的方案会注明您服务器所用的显卡。
每台服务器在交付前都会完成老化测试，结果载于验收报告中。我们的老化测试与验收页面说明整个流程。
租用方式
RTX 4090 服务器按需提供。请告诉我们服务器数量、合同期与开始日期，我们会回复一份书面方案，列出配置与交付时间表。
您以 36、48 或 60 个月的合同租用整台 8-GPU 服务器，合同期越长，费率越低。实际使用服务器的公司须在签约前填写三份开户表格。您在签约时支付预付款，之后在整个合同期内支付单一固定月费，传输场景、纹理与帧不收取数据传出费用。我们的采购方式页面说明每个步骤。
工作负载与替代方案
RTX 4090 适合 GPU 渲染、扩散模型图像生成，以及每块 GPU 24 GB 显存内可容纳的模型推理。13B 参数的模型以 FP16 运行约需 26 GB，超过单块 RTX 4090 的容量；以 FP8 运行约需 13 GB，还能留出 KV 缓存的空间。
我们的媒体与娱乐页面介绍渲染与视觉特效流水线，生成式视频页面则介绍扩散模型工作负载。在专属裸金属上运行 ComfyUI 与 AI 视频说明每个作业拥有完整显存为何重要，揭露云 GPU 配置真实成本的 10 个问题则可帮助您比较目前的支出。
当 24 GB 成为瓶颈时，RTX 5090 提供 32 GB 显存，带宽 1,792 GB/s。若需要 48 GB 显存、ECC，以及成对显卡之间的 NVLink 桥接器，请参阅 RTX A6000。
买方常见问题
RTX 4090 还是 RTX 5090：我们该租用哪一款？
RTX 5090 配备 32 GB 显存，带宽 1,792 GB/s，并基于 Blackwell 架构支持 FP4；RTX 4090 配备 24 GB 显存，带宽 1,008 GB/s。如果您的工作负载 24 GB 显存即可容纳，且流水线已针对 Ada Lovelace 优化，请选择 RTX 4090。
1,321 AI TOPS 代表什么？
这是 NVIDIA 为 RTX 4090 公布的 AI TOPS 数值。NVIDIA 的 Ada 架构白皮书列出相同的 1,321.2，即使用稀疏性时 FP8 Tensor 搭配 FP16 累加的数值；不使用稀疏性时则为 660.6 TFLOPS。
这八块 GPU 之间有 NVLink 互联吗？
没有。GeForce RTX 4090 没有 NVLink，因此 GPU 之间通过 PCIe Gen 4 通信。每块 GPU 各自渲染自己的帧或运行自己的作业时，效果最好。
服务器中使用哪款 RTX 4090 显卡？
显卡型号会在您的方案中确认。NVIDIA 的数值以其 Founders Edition（3 槽显卡）为准，而 NVIDIA 指出，板卡合作伙伴推出的显卡在频率、功耗与尺寸上可能不同。
有哪些合同期可选择？
36、48 或 60 个月，合同期越长，费率越低。您在签约时支付预付款，之后在整个合同期内支付单一固定月费，且不收取数据传出费用。