规格
| GPU | |
|---|---|
| 配置 | 72 块 NVIDIA Blackwell Ultra GPU 与 36 颗 NVIDIA Grace CPU |
| 架构 | NVIDIA Grace Blackwell Ultra |
| 每块 GPU 的显存 | 279 GB HBM3e，8 TB/s |
| 每个机柜的 GPU 显存 | 20 TB HBM3e，最高 576 TB/s |
| 每个机柜的 CPU 内存 | 17 TB LPDDR5X，14 TB/s |
| 每个机柜的高速内存 | 37 TB（HBM3e 加上 LPDDR5X） |
| 每个机柜的 CPU 核心数 | 2,592 个 Arm Neoverse V2 核心 |
| 每个机柜的 FP4 Tensor 性能 | 稀疏 1,440 PFLOPS，稠密 1,080 PFLOPS |
| 每个机柜的 FP8 与 FP6 Tensor 性能 | 稀疏 720 PFLOPS |
| 每个机柜的 FP16 与 BF16 Tensor 性能 | 稀疏 360 PFLOPS |
| 每个机柜的 TF32 Tensor 性能 | 稀疏 180 PFLOPS |
| 每个机柜的 FP32 性能 | 6 PFLOPS |
| 每个机柜的 FP64 性能 | 100 TFLOPS |
| NVLink | 第五代，每块 GPU 1.8 TB/s，每个机柜 130 TB/s |
| 每块 GPU 功耗 | 可配置，最高 1,400 W |
| 交付时的服务器配置 | |
|---|---|
| 租用单元 | 一个完整机柜，72 块 GPU 与 36 颗 CPU |
| 散热 | 全液冷 |
| 机房 | 冷板式液冷，部署前确认 |
| 机柜配置 | 按您的需求配置，并在您的方案中确认 |
| 网络 | |
|---|---|
| 横向扩展网络 | NVIDIA ConnectX-8 SuperNIC，每块 GPU 800 Gb/s |
| 机柜外的集群网络 | 与您共同设计，并在您的方案中确认 |
典型工作负载
- 推理模型与混合专家模型的机柜级推理
- 模型并行跨越超过八块 GPU 的训练
- 机柜级规模的扩散模型视频生成
以预订方式租用 NVIDIA GB300 NVL72 机柜：72 块 Blackwell Ultra GPU 与 36 颗 Grace CPU 连接在单个 NVLink 域中，采用液冷，整个机柜都专属于您。预订采用 36、48 或 60 个月的合同，所有价格均载于书面方案中。
GB300 NVL72 的适用对象
GB300 NVL72 适合需要超过八块 GPU 以 NVLink 速度互相通信的模型。在 8-GPU 服务器上，服务器之间的流量经由网络传输，每块 GPU 800 Gb/s。在 GB300 NVL72 机柜中，全部 72 块 GPU 共享一个 NVLink 域，每块 GPU 1.8 TB/s，总计 130 TB/s。
这对以下情况很重要：将专家分散到多块 GPU 上的混合专家模型、训练中的大型张量并行组，以及同时为大量用户处理长上下文的推理模型。NVIDIA 也将此机柜定位于扩散模型视频生成。
它的优势
单个 NVLink 域
单个 NVLink 域中有 72 块 GPU 与 36 颗 Grace CPU，NVLink 总带宽 130 TB/s。
每个机柜的内存
20 TB HBM3e 显存，带宽最高 576 TB/s，相当于每块 GPU 279 GB、8 TB/s；若计入 Grace 的 17 TB LPDDR5X，高速内存共 37 TB。
每个机柜的算力
稠密 FP4 为 1,080 PFLOPS（稀疏 1,440 PFLOPS），稀疏 FP8 为 720 PFLOPS；每块 GPU 的功耗可配置，最高 1,400 W。
横向扩展网络
NVIDIA ConnectX-8 SuperNIC 为每块 GPU 提供 800 Gb/s 的网络连接，用于机柜外的流量。
与 HGX B300 一样，GB300 NVL72 是为 AI 数值格式而设计：NVIDIA 标称整个机柜的 FP64 为 100 TFLOPS。
交付时的配置
GB300 NVL72 以完整机柜出租，按您的需求配置，并在您的方案中确认。NVIDIA 将其设计为全液冷系统，因此我们只会将它部署在具备冷板式液冷且符合我们数据中心要求的机房：合同约定每个机柜的最大 kW 数，每个机柜都有 A/B 双路供电路径，电力与散热均可并行维护。
NVIDIA 并未公布 GB300 NVL72 的机柜功耗数值，因此会在部署前针对所选系统确认。我们的数据中心页面说明我们如何选择机房。
预订流程
GB300 NVL72 需提前预订：您在部署前预订机柜。我们不公布交付日期；您的机柜交付时间表会以书面形式约定。
询价与方案
请告诉我们您需要多少个机柜，以及何时需要。我们的书面方案会列明配置、价格与交付时间表。
开户与合同
实际使用机柜的公司须填写三份开户表格，再签署 36、48 或 60 个月的合同并支付预付款。这一规模的预订可能需要付款担保，例如银行保函或信用证。
老化测试与交付
每个机柜在交付前都会完成老化测试，您会收到包含测试结果的验收报告。整个合同期内以单一固定费率按月计费，且不收取数据传出费用。
合同期越长，费率越低。我们的采购方式页面详细说明各项表格与付款结构。
工作负载与替代方案
GB300 NVL72 适合推理模型与混合专家模型的机柜级推理，以及模型并行跨越超过一台 8-GPU 服务器的训练。我们的 AI 训练与 AI 推理页面介绍相关的配套基础设施。基础模型训练的瓶颈说明模型一旦分割，为何互联就成为限制；8 x 270 GB：B300 节点能容纳哪些模型则说明单块 GPU 的极限所在。
若您需要更早获得容量，HGX B300 已开放预订，可组成 64 至 288 个节点、使用专属集群网络的集群，详见我们的 GPU 集群页面。关于 Blackwell Ultra 的下一代产品，请参阅 NVIDIA Vera Rubin，同样需提前预订。
买方常见问题
GB300 NVL72 的“需提前预订”是什么意思？
您在部署前预订机柜。交付时间表会在您的方案与合同中约定；我们不公布日期。
我们可以只租用 GB300 NVL72 机柜的一部分吗？
不可以。GB300 NVL72 以整个机柜出租，包含 72 块 GPU 与 36 颗 Grace CPU，NVLink 域专属于您。
GB300 NVL72 需要什么样的散热？
NVIDIA 将其设计为全液冷机柜。我们只会将它部署在具备冷板式液冷且符合我们数据中心要求的机房。
GB300 NVL72 与 HGX B300 有何不同？
两者都采用 Blackwell Ultra GPU。GB300 NVL72 将 72 块 GPU 与 Grace CPU 连接在单个液冷 NVLink 域中；HGX B300 则在每台风冷式服务器中连接 8 块 GPU，并通过每块 GPU 800 Gb/s 的集群网络横向扩展。
适用哪些合同期？
36、48 或 60 个月，合同期越长，费率越低。您在签约时支付预付款，之后在整个合同期内支付单一固定月费，且不收取数据传出费用。