HGX B300 服务器内部
逐一介绍您租用的每个部分。
-
一台服务器，一位客户
机箱内的 GPU、CPU、内存、硬盘与网络端口，在整个合同期内都只属于一位客户。其中没有任何部分与他人共享。
-
八块 Blackwell Ultra GPU
同一块基板上有八块 SXM GPU，每块配备 270 GB HBM3e 显存，带宽 7.7 TB/s。单台服务器即有 2.1 TB 的 GPU 显存。
-
单个 NVLink 域
第五代 NVLink 连接全部八块 GPU，每块 GPU 1.8 TB/s，整台服务器 14.4 TB/s，让模型可以横跨整块基板。
-
每块 GPU 800 Gb/s
每块 GPU 都有自己专用的 800 Gb/s 端口连至集群网络，建议采用 NVIDIA ConnectX-8；集群网络采用轨道优化设计，不与其他客户共享。
-
硬盘与风冷
机箱前部配置至少 9.2 TB 原始容量的 NVMe 数据盘，机箱为风冷式，按我们的交付规格书构建。
规格
| GPU | |
|---|---|
| 平台 | NVIDIA HGX B300，8 块 SXM GPU 位于同一块基板上 |
| 架构 | NVIDIA Blackwell Ultra |
| 每块 GPU 的显存 | 270 GB HBM3e（NVIDIA HGX B300 规格） |
| 每台服务器的 GPU 显存 | 2.1 TB HBM3e（8 x 270 GB，按 NVIDIA 公布的规格） |
| 每块 GPU 的显存带宽 | 7.7 TB/s |
| FP4 Tensor，8 块 GPU | 稀疏 144 PFLOPS，稠密 108 PFLOPS |
| FP8 与 FP6 Tensor，8 块 GPU | 稀疏 72 PFLOPS |
| FP16 与 BF16 Tensor，8 块 GPU | 稀疏 36 PFLOPS |
| TF32 Tensor，8 块 GPU | 稀疏 18 PFLOPS |
| FP32，8 块 GPU | 600 TFLOPS |
| FP64，8 块 GPU | 10 TFLOPS |
| NVLink | 第五代，每块 GPU 1.8 TB/s，每台服务器 14.4 TB/s |
| PCIe | Gen6，256 GB/s |
| 每块 GPU 功耗 | 可配置，最高 1,100 W |
| Multi-Instance GPU | 每块 GPU 最多 7 个实例 |
| 交付时的服务器配置 | |
|---|---|
| CPU | 至少 128 个 vCPU |
| 系统内存 | 建议 3 TB，至少 1.92 TB（每块 GPU 240 GB） |
| 系统盘 | 2 x 1 TB NVMe，镜像配置（建议采用） |
| 本地数据存储 | 至少 9.2 TB 原始容量 NVMe |
| 散热 | 风冷 |
| 电力规划 | 每台服务器约 14 kW（规划假设值） |
| 网络 | |
|---|---|
| 后端网络 | 每块 GPU 800 Gb/s（1 x 800、2 x 400 或 4 x 200 Gb/s），建议采用 NVIDIA ConnectX-8 |
| 前端网络 | NVIDIA BlueField-3，建议 2 x 400 Gb/s，最低 2 x 200 Gb/s |
| 东西向集群网络 | 轨道优化、完全无阻塞，专属于单一客户 |
| 集群网络交换机 | 建议采用 NVIDIA Spectrum-X 或 Broadcom Tomahawk 6；亦接受 NVIDIA Quantum InfiniBand 或 Tomahawk 5 |
| 南北向网络 | 每个节点建议 400 Gb/s，最低 200 Gb/s，RoCEv2，MTU 9000 |
典型工作负载
- 大型模型的预训练与后训练
- 集群规模的强化学习与微调
- 长上下文推理模型与混合专家模型的推理
以整个 8-GPU 节点或集群的形式租用 NVIDIA HGX B300 服务器，集群网络不与其他客户共享。每台服务器都按我们公开的交付规格书构建，交付前完成老化测试，并以 36、48 或 60 个月的合同、单一固定月费出租。
HGX B300 适合哪些团队
HGX B300 适合模型规模已超出每块 GPU 80 至 180 GB 的团队。每块 GPU 配备 270 GB HBM3e 显存，每台服务器 2.1 TB，因此以 FP8 运行的 70B 参数模型（权重约 70 GB）在单块 GPU 上仍可留下约 200 GB 供 KV 缓存与批处理使用。
AI 实验室租用它进行持续数周的预训练与后训练。推理团队租用它来提供长上下文推理模型与混合专家模型的推理服务。它是 1Legion 容量的主力产品线，也是我们 HGX B300 交付规格书所针对的服务器。
它的优势
HGX B300 的差异在于每块 GPU 的显存与带宽。
NVIDIA 标称每块 GPU 的显存带宽为 7.7 TB/s，这是大型模型解码速度的上限。8-GPU 基板提供 108 PFLOPS 的稠密 FP4 性能（稀疏 144 PFLOPS），HGX B200 则为稠密 72 PFLOPS；稀疏 FP8 为 72 PFLOPS。第五代 NVLink 为每块 GPU 提供连至其他七块 GPU 的 1.8 TB/s 带宽，整台服务器 14.4 TB/s；每块 GPU 也都有自己专用的 800 Gb/s 端口连至集群网络。
代价是双精度性能。NVIDIA 标称此基板的 FP64 为 10 TFLOPS，因此 HGX B300 是为 AI 数值格式设计的服务器，并不适合 FP64 模拟。
交付时的配置
此配置来自我们的交付规格书 1LG-DEL-SPEC-2026-001。您的方案所做的任何变更都会列为编号的偏差项，让您清楚看到您的服务器与公开基准的差异。
- CPU 与内存：至少 128 个 vCPU；系统内存建议 3 TB，每块 GPU 绝不少于 240 GB（1.92 TB）。
- 本地存储：建议采用两块互为镜像的 1 TB NVMe 系统盘，另加至少 9.2 TB 原始容量的 NVMe 数据盘，超过 GPU 显存的四倍。
- 网络：后端每块 GPU 800 Gb/s，建议采用 NVIDIA ConnectX-8；前端采用 NVIDIA BlueField-3，建议 2 x 400 Gb/s，最低 2 x 200 Gb/s。
- 散热与电力：按照 OEM 对集群规模部署的建议采用风冷。我们以每台服务器约 14 kW 规划电力。
HGX B300 集群方案
1Legion 集群专属于单一客户，连交换机也不例外。我们的三种参考规模都使用同一款服务器：
| 项目 | 64 个节点 | 128 个节点 | 288 个节点 |
|---|---|---|---|
| GPU 节点（每个 8 块 GPU） | 64 | 128 | 288 |
| GPU 数量 | 512 | 1,024 | 2,304 |
| CPU 节点 | 24 | 48 | 108 |
| 控制平面节点 | 6 | 6 | 6 |
| 存储：存储设备方案（可用容量） | 512 TB | 1,024 TB | 2,304 TB |
| 存储：存储节点方案 | 9 个节点 | 17 个节点 | 38 个节点 |
| 预估 IT 负载 | 约 0.98 MW | 约 1.95 MW | 约 4.39 MW |
东西向网络采用轨道优化设计，完全无阻塞，每块 GPU 800 Gb/s，建议采用 NVIDIA Spectrum-X 或 Broadcom Tomahawk 6。CPU 节点运行 GPU 周边的服务；存储可选择由原厂托管、每块 GPU 至少 1 TB 可用容量的存储设备，或供您运行自有软件的存储节点。我们的专属 GPU 集群页面介绍设计与交付，存储与网络页面则介绍边缘网络、DDoS 防护与您自有的 IP 地址空间。
租用方式
HGX B300 已开放预订。您租用的是整台服务器，所有价格都以书面方案提供。
询价与方案
请告诉我们您需要多少台服务器、租用多久、从何时开始。我们会回复进一步的问题或书面方案。
开户与合同
实际使用服务器的公司须填写三份开户表格，签署 36、48 或 60 个月的合同，并支付预付款。合同期越长，费率越低。
构建与老化测试
我们按交付规格书构建，并执行 NVIDIA 的硬件验证测试 HW-1 至 HW-5。测试结果会写入您的验收报告。
运维
整个合同期内以单一固定费率按月计费，且不收取数据传出费用。您会在共享 Slack 频道中与我们的工程师合作，并有指定的技术客户经理，一切按照我们的运维承诺进行。
HGX B300 容量位于多伦多（运营中）与美国特拉华州（即将上线）。租用规模较大时，可能需要付款担保，例如银行保函或信用证。我们的采购方式页面说明每个步骤。
工作负载与替代方案
当每块 GPU 的显存或 GPU 之间的带宽成为瓶颈时，请选择 HGX B300：长时间的预训练、后训练与强化学习，以及每块 GPU 需要超过 180 GB 显存的模型推理。我们的 AI 训练与 AI 推理页面介绍技术栈的其他部分，另有两篇文章详细测算了相关数字：8 x 270 GB：B300 节点能容纳哪些模型与 AI 模型实验室适用的 B300。
若您的工作需要 FP64，或可放入每块 GPU 180 GB 显存，请考虑 HGX B200。若您需要在单个 NVLink 域中使用 72 块 GPU，GB300 NVL72 机柜需提前预订。
买方常见问题
我们可以租用多少台 HGX B300 服务器？
从单台 8-GPU 服务器到专属集群皆可。我们的参考集群有 64、128 与 288 个节点（512 至 2,304 块 GPU），设计还可扩展至更大规模。请参阅专属 GPU 集群。
我们可以在签约前测试 HGX B300 服务器吗？
我们不提供试用或概念验证。每个集群在交付前都会通过 NVIDIA 的硬件验证测试 HW-1 至 HW-5，您会收到包含测试结果的验收报告。请参阅老化测试与验收。
HGX B300 服务器托管在哪里？
位于加拿大多伦多（运营中）与美国特拉华州（即将上线）。您的方案会指定站点。
有哪些合同期可选择？
36、48 或 60 个月，合同期越长，费率越低。您在签约时支付预付款，之后在整个合同期内支付单一固定月费，且不收取数据传出费用。
HGX B300 适合 FP64 模拟吗？
不适合。NVIDIA 标称 8-GPU HGX B300 的 FP64 为 10 TFLOPS，而 HGX B200 为 296 TFLOPS。若工作大量使用 FP64，请考虑 HGX B200。
可以代为在集群上运维 Kubernetes 或 Slurm 吗？
可以，作为可选服务。我们会安装、运维、升级并监控搭配 NVIDIA GPU Operator 与 Network Operator 的 Kubernetes，或托管 Slurm；费用在租金之外另行计算，并列明于您的方案中。请参阅托管 Kubernetes。