1Legion GPU 集群是一套专属于单一客户的完整 NVIDIA HGX B300 系统，包括 GPU 服务器、CPU 节点、控制平面、存储、无阻塞的东西向网络、南北向网络与互联网边缘。我们按公开的《交付规格书》构建集群，使用 NVIDIA 的硬件验证测试进行老化测试，并在 36 至 60 个月的整个合同期内负责运维。
专属 AI 集群包含哪些部分
从 GPU 到南北向网络，集群的每一层都只服务于一个客户，而且每一层的规格都会在您签约前以书面形式确定。
| 节点 | 角色 | 规格 |
|---|---|---|
| GPU 节点 | 运行您的训练与推理 | NVIDIA HGX B300，8 块 GPU，每块配备 270 GB HBM3e；至少 128 个 vCPU；系统内存建议 3 TB，至少 1.92 TB；本地 NVMe 原始容量至少 9.2 TB；每块 GPU 800 Gb/s，网卡为 NVIDIA ConnectX-8（建议采用）；NVIDIA BlueField-3 前端网络 2 x 400 Gb/s（建议采用）；按 OEM 建议采用风冷 |
| CPU 节点 | 运行 GPU 周边的服务：模型服务、路由与批处理 | x86，至少 128 个 vCPU，基础频率高于 3 GHz，建议采用 AMD EPYC 9565 或 9575F；每个线程 4 GB 内存；BlueField-3 前端网络 |
| 控制平面节点 | 集群的控制平面 | 32 个 vCPU，频率高于 3.65 GHz，建议采用 AMD EPYC 9175F；128 GB 内存；每 2,304 块 GPU 配置六个节点，分布在两个机柜中 |
CPU 节点按 GPU 数量配置：集群中每块 GPU 对应至少 6 个硬件线程与 24 GB 内存。AI 模型实验室适用的 B300 说明了持续训练对每一层的要求。
HGX B300 集群参考配置
三种参考规模明确规定了在给定数量的 GPU 节点下，应搭配多少 CPU 节点、控制平面节点、存储容量以及多少 MW 电力。
| 项目 | 64 个节点 | 128 个节点 | 288 个节点 |
|---|---|---|---|
| GPU 节点（每个 8 块 GPU） | 64 | 128 | 288 |
| GPU 数量 | 512 | 1,024 | 2,304 |
| CPU 节点 | 24 | 48 | 108 |
| 控制平面节点 | 6 | 6 | 6 |
| 存储：存储设备方案（可用容量） | 512 TB | 1,024 TB | 2,304 TB |
| 存储：存储节点方案 | 9 个节点 | 17 个节点 | 38 个节点 |
| 预估 IT 负载 | 约 0.98 MW | 约 1.95 MW | 约 4.39 MW |
这些比例在每种规模下都保持不变。配备 24、48 与 108 个 CPU 节点（每个 128 个 vCPU）时，每块 GPU 可分到 6 个硬件线程。存储设备为每块 GPU 提供至少 1 TB 可用容量。六个控制平面节点即可满足全部三种规模，因为规格书规定每 2,304 块 GPU 配置六个。三种规模的 HBM3e 总量分别约为 138 TB、276 TB 与 622 TB，IT 负载分别在 1 MW、2 MW 与 4.4 MW 以内。
设计可扩展至更大规模
参考规模最大为 288 个节点，但设计不止于此。规格书按每块 GPU 配置每一层：800 Gb/s 的集群网络带宽、6 个 CPU 线程与 24 GB CPU 内存，以及 1 TB 可用存储容量。更大的集群保持相同比例，您的方案会列明设计、站点与电力。HGX B300 集群目前在多伦多运行，美国特拉华州的容量也即将上线。
东西向网络：以太网或 InfiniBand
每块 GPU 都有专用的 800 Gb/s 连接，接入轨道优化、完全无阻塞的集群网络，该网络只承载您的流量。
- 带宽：每块 GPU 1 x 800 Gb/s 或 2 x 400 Gb/s 网络平面，每台服务器 6.4 Tb/s，建议采用 NVIDIA ConnectX-8 网卡。
- 轨道优化：每台服务器中 GPU 1 的网卡连接到轨道 1，GPU 2 连接到轨道 2，依此类推。
- 无阻塞：集群网络没有超额订阅，因此所有 GPU 都能同时全速发送数据。
- 交换机：建议采用 NVIDIA Spectrum-X 或 Broadcom Tomahawk 6；也接受 NVIDIA Quantum InfiniBand 或 Tomahawk 5。
- 交付前测试：使用 nccl-tests 测试 NCCL 吞吐量，在支持的情况下启用 SHARP（HW-1）；使用 ib_write_bw 测试每一条 InfiniBand 或 RoCE 轨道（HW-2）。
基础模型训练的瓶颈解释了为什么互联带宽与显存带宽比 GPU 数量更能决定训练吞吐量。
存储、南北向网络与边缘网络
存储以及集群网络周边的各个网络，都按每块 GPU 和每个节点制定规格，与 GPU 的规格写在同一份文档中。
- 存储方案 A：由 VAST Data、WEKA 或 DDN 原厂托管的存储设备，每块 GPU 至少 1 TB 可用容量，提供 7×24 小时原厂升级处理，并承诺各层级的吞吐量与延迟。
- 存储方案 B：供您运行自有存储软件的存储节点，采用 30.72 TB NVMe PCIe 5.0 硬盘，每块 GPU 至少 3 TB 原始容量，最低 9 个节点。
- 南北向网络：每个节点建议 400 Gb/s，最低 200 Gb/s；存储 Leaf 交换机不超额订阅，GPU Leaf 交换机低于 4:1；RoCEv2 与 MTU 9000。
- 边缘网络：两家独立的 IP Transit 供应商，每条线路 100 Gb/s；eBGP 搭配 BFD；DDoS 流量清洗可在 5 分钟内通过 BGP 启用。
关于 NAT、公网地址、您自有的 IP 地址空间与 ASN 以及流量遥测，请参阅存储与网络。
GPU 集群的电力规划
按每个 GPU 节点约 14 kW 进行规划：加上 CPU 节点、控制平面、存储节点与网络后，64 节点集群约需 0.98 MW 的 IT 负载。
| 64 节点集群 | 数量 | 规划值 | 负载 |
|---|---|---|---|
| GPU 节点 | 64 | 每个约 14 kW | 896 kW |
| CPU 节点 | 24 | 每个 1.0 kW | 24 kW |
| 控制平面节点 | 6 | 每个 0.5 kW | 3 kW |
| 存储节点（方案 B） | 9 | 每个 1.3 kW | 11.7 kW |
| 网络 | GPU 负载的 5% | 44.8 kW | |
| 总计 | 约 0.98 MW |
按相同方法计算，128 个节点约需 1.95 MW，288 个节点约需 4.39 MW。14 kW 是针对风冷 HGX B300 节点的规划假设值；NVIDIA 公布其自有的 DGX B300 系统约为 14 kW。机房必须在合同中承诺每个机柜的最大 kW 数，该数值决定一个机柜可容纳多少个 GPU 节点。数据中心列出了我们对站点的其他要求。
集群如何交付
集群从方案到正式上线分为五个步骤，验收报告是构建与运维之间的分界线。
方案
我们对照《交付规格书》发送书面方案。每一项都标注为“必需”或“建议采用”，您需要的任何变更都会作为编号的偏差项列出。
合同与开户
实际使用集群的公司须填写三份开户表格、签署租赁合同并支付预付款。租用规模较大时，可能需要提供银行保函或信用证。
构建
我们将服务器上架，构建集群网络、南北向网络与边缘网络，并将每个机柜、节点、GPU、网卡、硬盘、交换机、端口、光模块与线缆记录在资产清单中。
老化测试
集群通过 NVIDIA 的硬件验证测试 HW-1 至 HW-5：NCCL 吞吐量、集群网络的每一条轨道、GPUDirect RDMA 与存储、NVLink 与 NVSwitch，以及在持续功率上限下进行的 24 小时持续负载测试。
交付与运维
您会收到包含全部结果的验收报告。之后我们按照运维承诺运维集群，并提供共享 Slack 频道与指定的技术客户经理。
老化测试与验收说明每项测试，以及节点未通过测试时的处理方式。
买方常见问题
集群网络采用 InfiniBand 还是以太网？
我们的《交付规格书》建议采用基于 NVIDIA Spectrum-X 或 Broadcom Tomahawk 6 的以太网，也接受 NVIDIA Quantum InfiniBand 或 Tomahawk 5。无论采用哪一种，集群网络都采用轨道优化设计，完全无阻塞，每块 GPU 800 Gb/s。
集群是否与其他客户共享？
不共享。GPU 服务器、东西向网络与南北向网络都专属于单一客户。
GPU 集群需要多少电力？
按每个 GPU 节点约 14 kW 规划，64 个节点约需 0.98 MW 的 IT 负载，128 个节点约需 1.95 MW，288 个节点约需 4.39 MW。
GPU 节点采用风冷还是液冷？
HGX B300 节点采用风冷，这是 OEM 针对集群规模部署的建议。GB300 NVL72 采用液冷，需提前预订。
我们可以查看老化测试结果吗？
可以。每个集群在交付前都会通过 NVIDIA 的硬件验证测试 HW-1 至 HW-5，测试结果会以验收报告的形式交给您。请参阅老化测试与验收。
集群可以超过 288 个节点吗？
可以。规格书按每块 GPU 确定每一层的配置，因此更大的集群也保持相同的比例。您的方案会列明设计、站点与电力。