规格
| GPU | |
|---|---|
| 平台 | NVIDIA HGX B200，8 块 SXM GPU 位于同一块基板上 |
| 架构 | NVIDIA Blackwell |
| 每块 GPU 的显存 | 180 GB HBM3e |
| 每台服务器的 GPU 显存 | 1,440 GB HBM3e（8 x 180 GB） |
| 每块 GPU 的显存带宽 | 7.7 TB/s |
| FP4 Tensor，8 块 GPU | 稀疏 144 PFLOPS，稠密 72 PFLOPS |
| FP8 与 FP6 Tensor，8 块 GPU | 稀疏 72 PFLOPS |
| INT8 Tensor，8 块 GPU | 稀疏 72 POPS |
| FP16 与 BF16 Tensor，8 块 GPU | 稀疏 36 PFLOPS |
| TF32 Tensor，8 块 GPU | 稀疏 18 PFLOPS |
| FP32，8 块 GPU | 600 TFLOPS |
| FP64，8 块 GPU | 296 TFLOPS（每块 GPU 37 TFLOPS） |
| NVLink | 第五代，每块 GPU 1.8 TB/s，每台服务器 14.4 TB/s |
| PCIe | Gen5，128 GB/s |
| 每块 GPU 功耗 | 可配置，最高 1,000 W |
| Multi-Instance GPU | 最多 7 个实例，1g.23gb 至 7g.180gb |
| 交付时的服务器配置 | |
|---|---|
| 每台服务器的 GPU 数 | 8 |
| CPU、系统内存与存储 | 按您的需求配置，并在您的方案中确认 |
| 散热 | 取决于服务器型号，并在您的方案中确认 |
| 参考系统功耗 | 最高约 14.3 kW（NVIDIA DGX B200） |
| 网络 | |
|---|---|
| NVIDIA 参考设计 | DGX B200：8 张单端口 ConnectX-7 网卡，最高 400 Gb/s InfiniBand 或以太网 |
| 后端与前端网络 | 按您的集群设计配置，并在您的方案中确认 |
典型工作负载
- 每块 GPU 180 GB 显存可容纳的模型训练与微调
- 以 FP4、FP8 与 INT8 进行推理
- 除 AI 之外也需要 FP64 的科学计算与模拟
以整个 8-GPU 节点或专属集群的形式租用 NVIDIA HGX B200 服务器。HGX B200 已开放预订，合同期 36、48 或 60 个月，所有价格均载于书面方案中。
HGX B200 适合哪些团队
HGX B200 适合想以 Blackwell 进行训练与推理、同时仍需运行双精度计算任务的团队。每块 GPU 配备 180 GB HBM3e 显存，每台服务器 1,440 GB，因此以 FP8 运行的 70B 参数模型（权重约 70 GB）可放入单块 GPU，并留下约 110 GB 供 KV 缓存与批处理使用。
同时运行模拟与模型训练的研究团队与 AI 团队，可在同一平台上兼顾两者。需要每块 GPU 显存最大的团队，应将它与每块 GPU 配备 270 GB 的 HGX B300 进行比较。
它的优势
AI 之外兼顾 FP64
NVIDIA 标称每块 GPU 的 FP64 为 37 TFLOPS，每台服务器 296 TFLOPS，约为 HGX B300 基板 10 TFLOPS 的 30 倍。
Blackwell 数值格式
每台服务器稀疏 FP4 为 144 PFLOPS（稠密 72 PFLOPS），稀疏 FP8 为 72 PFLOPS，稀疏 INT8 为 72 POPS。
服务器内的 NVLink
第五代 NVLink 为每块 GPU 提供连至其他七块 GPU 的 1.8 TB/s 带宽，整块基板总计 14.4 TB/s。
以 MIG 分割
每块 GPU 最多可分割为七个实例，从 1g.23gb 配置文件到完整的 7g.180gb，让多个作业可以共享一台服务器。
NVIDIA 的 Blackwell 规格表列出每块 GPU 的显存带宽为 7.7 TB/s。每块 GPU 的功耗最高可配置为 1,000 W；NVIDIA 标称其 DGX B200 系统约为 14.3 kW，可作为机房规划的参考数字。
交付时的配置
HGX B200 服务器按您的需求配置，并在您的方案中确认，包括 CPU、系统内存、本地 NVMe、网卡与散热。NVIDIA 的 DGX B200 参考设计为每块 GPU 配置一张最高 400 Gb/s 的 ConnectX-7 网卡，我们则根据您规划的集群配置后端网络。每台服务器在交付前都会完成老化测试，您会收到包含测试结果的验收报告，详见我们的老化测试与验收页面。
HGX B200 集群方案
您可以租用单台 HGX B200 服务器，或租用运行在专属于您的单一集群网络上的集群。集群从东西向网络到 CPU 节点与存储，都会与您共同设计，并列明于您的方案中。
我们公开的 HGX B300 参考设计说明了这种做法：不与其他客户共享、采用轨道优化且完全无阻塞的集群网络，运行 GPU 周边服务的 CPU 节点，以及按每块 GPU 配置的存储。我们的专属 GPU 集群页面介绍集群如何构建与交付；若您希望由我们代为运维，托管 Kubernetes 页面则介绍编排管理。
租用方式
工作负载与替代方案
HGX B200 适合每块 GPU 不超过 180 GB 的训练与微调、以 FP4、FP8 或 INT8 进行的推理，以及除 AI 之外也需要 FP64 的科学计算。我们的 AI 训练页面介绍训练路线图所需的存储、故障处理与合同期。若想了解容量规划背后的考量，请阅读基础模型训练的瓶颈与长时间训练作业为何在共享云上失败。
若每块 GPU 的显存是限制因素，HGX B300 提供每块 GPU 270 GB 显存，每台服务器稠密 FP4 达 108 PFLOPS。若您的代码针对 Ampere 调优，A100 80GB 可按需提供。
买方常见问题
HGX B200 还是 HGX B300：我们该租用哪一款？
若需要每块 GPU 最大的显存（270 GB）与最高的稠密 FP4 吞吐量，请选择 HGX B300。若您的模型可放入每块 GPU 180 GB 显存，或您需要 FP64（NVIDIA 标称每台服务器 296 TFLOPS，而 HGX B300 为 10 TFLOPS），请选择 HGX B200。
HGX B200 每块 GPU 的显存是 180 GB 还是 192 GB？
根据 NVIDIA 的 HGX B200 文档，每块 GPU 为 180 GB HBM3e，每台服务器 1,440 GB。外界流传的 192 GB 是 NVIDIA 针对 Blackwell 架构的最大值，并非 HGX B200 的配置。
我们可以租用 HGX B200 集群，而不只是单台服务器吗？
可以。B200 集群运行在专属于您的集群网络上，从集群网络到存储的设计都会列明于您的方案中。请参阅专属 GPU 集群。
我们可以在签约前测试 HGX B200 服务器吗？
我们不提供试用或概念验证。每台服务器在交付前都会完成老化测试，您会收到包含测试结果的验收报告。
有哪些合同期可选择？
36、48 或 60 个月，合同期越长，费率越低。您在签约时支付预付款，之后在整个合同期内支付单一固定月费，且不收取数据传出费用。