专属 NVIDIA GPU 服务器

我们以长期合同出租整台专属 GPU 服务器，所有价格都会在您签约前以书面方案提供。

裸金属与共享 GPU 基础设施比较说明了专属硬件在生产环境中带来哪些变化。

产品目录按硬件的设计用途分为四类：训练、机柜级系统、推理，以及图形与媒体。

A100 80GB SXM 服务器（HGX 基板上搭载八块 GPU）也可按需提供。

训练：HGX B300 与 HGX B200

HGX B300 是我们的主力产品线：八块 Blackwell Ultra GPU，每块配备 270 GB HBM3e，每台服务器 2.1 TB，通过第五代 NVLink 互联，每块 GPU 1.8 TB/s。我们的参考 GPU 集群就是基于它构建的，集群网络为每块 GPU 800 Gb/s。HGX B200 每块 GPU 配备 180 GB HBM3e，每台服务器 1,440 GB，并保留了高得多的双精度性能：NVIDIA 公布每块 8-GPU 基板的 FP64 性能为 296 TFLOPS，而 HGX B300 为 10 TFLOPS。如果模拟或其他 FP64 工作负载与 AI 共享集群，请选择 B200。8 x 270 GB：B300 节点能容纳哪些模型以 405B 与 70B 模型为例进行了逐步分析。

需提前预订：GB300 NVL72 与 Vera Rubin

GB300 NVL72 是一个液冷机柜，在单个 NVLink 域中集成 72 块 Blackwell Ultra GPU 与 36 颗 Grace CPU；根据 NVIDIA 公布的数据，配备 20 TB HBM3e，NVLink 总带宽 130 TB/s。Vera Rubin 是 NVIDIA 的下一代平台，每块 Rubin GPU 配备 288 GB HBM4，我们已订购 Rubin 服务器。两者都需提前预订。我们的机房要求包括具备引入冷板式液冷的可行路径，以支持 GB300 NVL72 及后续系统。

推理：RTX PRO 6000 Blackwell 与 L40S

RTX PRO 6000 Blackwell 服务器搭载八块 GPU，每块配备 96 GB GDDR7，每台服务器 768 GB，从蒙特利尔提供服务。L40S 服务器搭载八块 GPU，每块配备 48 GB GDDR6。这两款显卡都没有 NVLink，因此 GPU 之间通过 PCIe 交换数据：这类服务器适合每个副本能放入一块或几块 GPU 的模型，例如在单张 96 GB 显卡上以 FP8 运行的 70B 模型。8 x 96 GB：RTX PRO 6000 Blackwell 节点能容纳哪些模型逐步演示了显存的计算方法。

图形与媒体：GeForce 与 RTX 工作站显卡

RTX 5090（32 GB）、RTX 4090（24 GB）与 RTX A6000（48 GB）服务器搭载八块 GPU；RTX 4000 Ada（20 GB）与 RTX A4000（16 GB）服务器则搭载四块。

每款服务器都标有三种标签之一，说明其硬件目前的状态。

四个问题可以缩小选择范围：每块 GPU 需要多少显存、GPU 之间如何通信、作业跨越多少台服务器，以及工作负载是什么。

每块 GPU 的显存

显存决定能放下什么。权重，加上推理所需的 KV 缓存或训练所需的优化器状态与激活值，都必须存放在 GPU 显存中；以 FP8 运行的 70B 参数模型，仅权重就需要约 70 GB。70 GB 的权重，四块 GPU 说明了每种显存容量还能为 KV 缓存留出多少空间。

互联

当一个模型切分到多块 GPU 上时，GPU 之间的带宽决定运行速度。HGX B300 与 B200 服务器为每块 GPU 提供 1.8 TB/s 的 NVLink 带宽，GB300 NVL72 将 72 块 GPU 连接在单个 NVLink 域中，而 PCIe 服务器依赖 PCIe 总线：L40S 为 64 GB/s。在服务器之间，HGX B300 集群使用轨道优化、完全无阻塞的集群网络，每块 GPU 800 Gb/s。

集群规模

超过一台服务器时，我们的参考集群包含 64、128 或 288 个 HGX B300 节点，同一个专属集群网络上最多 2,304 块 GPU，而且设计可以扩展到更大规模。请参阅 GPU 集群与交付规格书。

工作负载