这是我们 HGX B300 集群规格书的公开版,文档编号 1LG-DEL-SPEC-2026-001,日期为 2026 年 9 月 24 日。它是我们撰写每份 HGX B300 方案的基准:参考集群规模、节点、存储与网络,以及集群随附的运维承诺。您的集群若有任何不同之处,都会在方案中列为编号的偏差项。
规格书的使用方式
规格书确立了基准,您的方案则将每一项相对于基准的变更记录为编号偏差项。文档中的每个项目要么是“必需”,要么是“建议采用”。本页中,最低要求写作“至少”或“最低”,建议选项则标注为“建议采用”。
必需
属于每份 HGX B300 方案的基准。若您的集群需要不同的配置,该变更会在方案中列为编号的偏差项。
建议采用
当文档允许多个选项时我们建议采用的选项,例如后端网卡采用 NVIDIA ConnectX-8。
编号偏差项
针对特定客户的变更,会以单独的编号写入您的方案,让您的工程师与采购团队能在签约前逐项检查与此基准的差异。
参考集群规模
规格书定义了三种参考集群,分别为 64、128 与 288 个 GPU 节点,每种规模都包含相应的 CPU 节点、控制平面与存储。
| 项目 | 64 个节点 | 128 个节点 | 288 个节点 |
|---|---|---|---|
| GPU 节点(每个 8 块 GPU) | 64 | 128 | 288 |
| GPU 数量 | 512 | 1,024 | 2,304 |
| CPU 节点 | 24 | 48 | 108 |
| 控制平面节点 | 6 | 6 | 6 |
| 存储:存储设备方案(可用容量) | 512 TB | 1,024 TB | 2,304 TB |
| 存储:存储节点方案 | 9 个节点 | 17 个节点 | 38 个节点 |
| 预估 IT 负载 | 约 0.98 MW | 约 1.95 MW | 约 4.39 MW |
每种参考规模都有六个控制平面节点,规格书规定控制平面按每 2,304 块 GPU 配置 6 个节点。两行存储数据分别对应下方说明的两种存储方案:存储设备列出可用容量,存储节点则列出节点数量。
电力规划
预估 IT 负载根据下列规划值计算得出:
| 项目 | 规划值 |
|---|---|
| GPU 节点 | 约 14 kW(规划假设值) |
| CPU 节点 | 1.0 kW |
| 控制平面节点 | 0.5 kW |
| 存储节点 | 1.3 kW |
| 网络 | GPU 负载的 5% |
以 64 节点规模为例,即 64 个 GPU 节点(每个约 14 kW),加上 24 个 CPU 节点、6 个控制平面节点、9 个存储节点,以及按 GPU 负载 5% 计算的网络:合计约 0.98 MW。我们根据这些数值规划机房电力,而合同约定的每机柜最大 kW 是我们向机房要求的关键数字。其余要求请参阅我们的数据中心页面。
计算节点
除了存储之外,集群还有三种节点:运行您工作负载的 GPU 节点、负责周边服务的 CPU 节点,以及负责管理集群本身的控制平面。
GPU 节点
| 项目 | 规格 |
|---|---|
| 平台 | NVIDIA HGX B300,8 块 GPU |
| 显存 | 每块 GPU 270 GB HBM3e,每个节点 2.1 TB,按 NVIDIA 公布的 HGX B300 规格 |
| 散热 | 风冷,按照 OEM 在集群规模下的建议 |
| CPU | 至少 128 个 vCPU |
| 系统内存 | 建议采用 3 TB;每块 GPU 至少 240 GB(1.92 TB) |
| 系统盘 | 2 x 1 TB NVMe,镜像配置(建议采用) |
| 本地数据存储 | 至少 9.2 TB 原始 NVMe 容量,超过显存的 4 倍 |
| 后端网卡 | 每块 GPU 800 Gb/s,可为 1 x 800、2 x 400 或 4 x 200 Gb/s;建议采用 NVIDIA ConnectX-8 |
| 前端网卡 | NVIDIA BlueField-3;建议采用 2 x 400 Gb/s,最低 2 x 200 Gb/s |
- 显存与内存。每块 GPU 配备 270 GB HBM3e 显存,每个节点共有 2.1 TB 显存。每块 GPU 至少配备 240 GB 系统内存,让主机有空间为 GPU 暂存数据与模型权重。
- 本地存储。原始 NVMe 容量至少为节点显存的四倍,让数据集、检查点与模型文件就近存放在 GPU 旁。
- 网卡。后端网卡以三种端口配置之一,为每块 GPU 提供进入东西向集群网络的 800 Gb/s 带宽。BlueField-3 前端网卡将节点连接到南北向网络。
- 散热。节点采用风冷,因为 OEM 建议在集群规模下使用风冷。
CPU 节点
| 项目 | 规格 |
|---|---|
| 角色 | GPU 周边的服务:模型服务、路由、批处理 |
| 规模配置 | 集群中每块 GPU 至少对应 6 个硬件线程与 24 GB 内存 |
| 处理器 | x86,至少 128 个 vCPU,基础频率高于 3 GHz |
| 建议采用的 CPU | AMD EPYC 9565 或 9575F |
| 内存 | 每个线程 4 GB |
| 前端网卡 | NVIDIA BlueField-3 |
CPU 节点负责 GPU 周边的工作,例如模型服务、路由与批处理作业,让 GPU 节点不必承担这些工作。由于 CPU 节点按 GPU 数量配置,它们会随集群一起扩展:512 块 GPU 至少需要 3,072 个硬件线程,正好由 24 个 128 vCPU 节点提供。
控制平面
| 项目 | 规格 |
|---|---|
| 节点 | 每 2,304 块 GPU 配置 6 个,分布在两个机柜中 |
| 处理器 | 32 个 vCPU,频率高于 3.65 GHz;建议采用 AMD EPYC 9175F |
| 内存 | 128 GB |
控制平面运行集群的管理服务。其六个节点分布在两个机柜中,因此不会全部集中在同一个机柜。
存储
您从两种存储设计中选择一种:由原厂托管的存储设备(方案 A),或用于运行您自有存储软件的存储节点(方案 B)。
| 方案 A:存储设备 | 方案 B:存储节点 | |
|---|---|---|
| 说明 | 由您选定的原厂(VAST Data、WEKA 或 DDN)托管的存储设备 | 用于运行您自有存储软件的存储节点 |
| 容量 | 每块 GPU 至少 1 TB 可用容量 | 每块 GPU 至少 3 TB 原始容量 |
| 硬盘 | 原厂支持的设计 | 30.72 TB NVMe PCIe 5.0;支持自加密硬盘 |
| 参考规模下 | 可用容量 512、1,024 或 2,304 TB | 9、17 或 38 个节点,最低 9 个 |
采用方案 A 时,规格书中的存储设备服务包括:提供 7×24 小时升级处理的原厂支持设计、各层级承诺的吞吐量与延迟、可查看的用量与配额,以及经过测试的恢复机制。方案 B 适合已在运行自有存储软件、并希望以原始容量支撑该软件的团队。
集群网络与边缘网络
每个集群都有专属的东西向集群网络承载 GPU 之间的流量,也有专属的南北向网络;在边缘,集群配备冗余的 IP Transit、DDoS 流量清洗、NAT 与专属公网 IP 地址。
东西向集群网络
| 项目 | 规格 |
|---|---|
| 拓扑 | 轨道优化,完全无阻塞 |
| 每块 GPU 的带宽 | 1 x 800 或 2 x 400 Gb/s 网络平面 |
| 交换机(建议采用) | NVIDIA Spectrum-X 或 Broadcom Tomahawk 6 |
| 交换机(可接受) | NVIDIA Quantum InfiniBand 或 Broadcom Tomahawk 5 |
| 租户模式 | 专属于单一客户 |
轨道优化是指每个节点中各个位置的 GPU 都连接到自己的一组交换机,即它的轨道,从而使对应位置 GPU 之间的路径保持较短。完全无阻塞是指集群网络能同时承载每块 GPU 的完整带宽,交换机层级之间没有超额订阅。
南北向网络
| 项目 | 规格 |
|---|---|
| 每个节点的带宽 | 建议采用 400 Gb/s,最低 200 Gb/s |
| 存储 Leaf 交换机 | 无超额订阅 |
| GPU Leaf 交换机 | 超额订阅比低于 4:1 |
| 传输协议 | 支持 RoCEv2 |
| MTU | 9000 |
| 租户模式 | 专属 |
超额订阅比是 Leaf 交换机提供给节点的带宽与其上行链路带宽之比。存储 Leaf 交换机没有超额订阅,因此读取与检查点写入不会受上行链路制约;GPU Leaf 交换机则保持在 4:1 以下。RoCEv2 在这个以太网上承载 RDMA,而将 MTU 设为 9000(巨型帧)可降低大数据量传输时每个数据包的开销。
边缘与互联网服务
| 项目 | 规格 |
|---|---|
| IP Transit | 两家独立供应商,每条线路 100 Gb/s,走物理分离的路径 |
| 路由 | eBGP 搭配 BFD;一分钟内完成故障切换 |
| 边缘路由器 | 两台,互为冗余,采用 A/B 双路供电 |
| 边缘 ACL | 按您的规则设置;一个工作日内完成变更 |
| DDoS 防护 | 由成熟供应商提供第 3 层与第 4 层流量型清洗,通过 BGP 在 5 分钟内启动,容量至少 1 Tb/s |
| NAT 与传出流量 | 冗余 HA 双机,至少 1,000 万个并发会话,专属 SNAT 地址(通常四个) |
| 公网服务地址 | 专属(通常八个);您可通过 BGP 宣告 VIP;5 秒内完成故障切换;IPv6 双栈 |
| 您的 IP 地址空间与 ASN | 边缘网络可宣告您的前缀与 ASN;遵循 RPKI ROA;BGP 会话验证 |
| 网络遥测 | 两台边缘路由器均将 NetFlow v9 或 IPFIX 发送至您的采集器 |
- IP Transit 与路由。两家独立供应商走物理分离的路径,因此一条线路被切断或一家供应商中断,都不会构成单点故障。BFD 能快速检测到失效的链路,eBGP 则在一分钟内切换到另一家供应商。
- 边缘路由器。两台互为冗余的路由器采用 A/B 双路供电,因此边缘网络不依赖单台路由器或单路供电。
- 边缘 ACL。边缘的访问控制列表按您的规则设置,我们会在一个工作日内完成变更。
- DDoS 防护。第 3 层与第 4 层的流量型攻击会通过 BGP 引流至成熟的清洗服务供应商。清洗在 5 分钟内启动,容量至少 1 Tb/s。
- NAT 与传出流量。出站流量通过一对冗余设备发出,可支持至少 1,000 万个并发会话,并使用仅供您使用的 SNAT 地址,让合作伙伴能将您的流量加入白名单。
- 公网服务地址。通常为您的服务提供八个专属地址。您可以通过 BGP 宣告虚拟 IP,故障切换在 5 秒内完成,IPv6 以双栈方式运行。
- 您的 IP 地址空间与 ASN。若您拥有自己的前缀与 ASN,边缘网络可以宣告它们。我们遵循您的 RPKI 路由起源授权(ROA),ROA 会告诉其他网络哪个 ASN 可以作为您前缀的起源;BGP 会话也经过验证。
- 网络遥测。两台边缘路由器都会将 NetFlow v9 或 IPFIX 流记录发送到您的采集器,让您看到自己的流量。
交付后的运维
规格书也涵盖交付前后的事项:交付前的老化测试,以及交付后的书面运维承诺。
交付前,每个集群都会通过 NVIDIA 为推理服务提供商制定的硬件验证(HW-1 至 HW-5 测试),结果会以验收报告交给您。我们的老化测试与验收页面说明了每项测试证明什么。
规格书第 15 节规定了交付后我们如何运维集群,首先是以下承诺:
| 承诺 | 指标 |
|---|---|
| 确认事件并指派事件指挥官 | 15 分钟内 |
| 事件未关闭期间的更新 | 至少每 60 分钟 |
| 网络运维团队介入处理,不分时段 | 15 分钟内 |
| 机房工程人员或现场代操作人员介入处理 | 45 分钟内 |
| 影响客户的事件后提交书面复盘报告 | 7 天内 |
| 高风险计划内维护的提前通知 | 至少 7 天 |
完整清单(包括资产清单、变更管理与硬件故障处理)请参阅我们的运维承诺页面。带外硬件遥测数据通过 Redfish 从 BMC 获取,并在可用时纳入网络与机房遥测数据。运维遥测数据至少保存 30 天,事件与状态历史至少保存 12 个月。
下载规格书
买方常见问题
什么是 1LG-DEL-SPEC-2026-001?
这是 1Legion 的 HGX B300 交付规格书,日期为 2026 年 9 月 24 日,也是我们撰写每份 HGX B300 方案的基准。本页是它的公开版。
规格书可以针对我们的集群调整吗?
可以。针对特定客户的变更会作为编号偏差项写入您的方案,让您清楚看到集群与基准的每一处不同。
GPU 节点采用风冷还是液冷?
在集群规模下,HGX B300 节点按照 OEM 的建议采用风冷。我们要求机房具备为 GB300 NVL72 及后续系统引入冷板式液冷的可行路径。
我们可以选择哪些存储方案?
由原厂托管的 VAST Data、WEKA 或 DDN 存储设备,每块 GPU 至少 1 TB 可用容量;或用于运行您自有存储软件的存储节点,每块 GPU 至少 3 TB 原始容量,最低 9 个节点。
我们可以使用自己的 IP 地址与 ASN 吗?
可以。边缘网络可以宣告您自己的前缀与 ASN,遵循您的 RPKI ROA,并使用 BGP 会话验证。
规格书涵盖 HGX B300 以外的 GPU 吗?
不涵盖。它涵盖的是 HGX B300 服务器与集群。其他 GPU 服务器的配置,会在您的书面方案中载明。