1Legion 的 AI 训练 GPU 集群由一组整台 NVIDIA HGX B300 服务器组成，通过只承载您流量的东西向集群网络互联，出租给单一客户，合同期为 36、48 或 60 个月。我们按公开的交付规格书构建每个集群，并在交付前完成老化测试，因此持续数周的训练作业从第一步起，就运行在已通过 24 小时持续负载测试的节点上。
LLM 训练基础设施必须长期满足的条件
持续数周的训练作业需要：容纳优化器状态的显存、没有慢速链路的集群网络、快速的检查点存储，以及在作业运行期间不会发生变化的底层环境。
容纳优化器状态的显存
使用 Adam 优化器进行混合精度训练时，权重、梯度与优化器状态合计每个参数约占 16 字节。对于 70B 参数模型，不计激活值约为 1.1 TB，一台 HGX B300 服务器的 2.1 TB HBM3e 显存即可容纳。
没有慢速链路的集群网络
分片训练与数据并行训练在每一步都要在所有 GPU 之间同步梯度，因此一条拥塞的链路就会拖慢整个集群。我们的 HGX B300 集群网络完全无阻塞，每块 GPU 800 Gb/s。
检查点吞吐量
70B 参数模型的检查点包含 FP32 主权重与 Adam 状态，约 840 GB；同步保存时，每块 GPU 都要等到写入完成。存储按 GPU 数量配置，检查点传出集群也不收取数据传出费用。
保持稳定不变的环境
没有其他租户与您共享服务器或集群网络。我方的变更遵循书面变更管理流程，高风险维护至少提前 7 天通知。
我们关于训练瓶颈的文章解释了为什么决定训练吞吐量的是显存与互联，而不是 GPU 数量。
哪些服务器适合训练工作负载
HGX B300 是我们的主力训练平台，HGX B200 也已开放预订，GB300 NVL72 与 Vera Rubin 则需提前预订。
- 每块 GPU 的显存
- 270 GB HBM3e
- 每台服务器的 GPU 数
- 8
- 每块 GPU 的显存
- 180 GB HBM3e
- 每台服务器的 GPU 数
- 8
- 每块 GPU 的显存
- 279 GB HBM3e
- 每个机柜的 GPU 数
- 72
- 每块 GPU 的显存
- 288 GB HBM4
- 每台服务器的 GPU 数
- 8
| 8-GPU 服务器 | HGX B300 | HGX B200 |
|---|---|---|
| 每台服务器的 GPU 显存 | 2.1 TB HBM3e | 1,440 GB HBM3e |
| 每块 GPU 的显存带宽 | 7.7 TB/s | 7.7 TB/s |
| NVLink | 每块 GPU 1.8 TB/s，总计 14.4 TB/s | 每块 GPU 1.8 TB/s，总计 14.4 TB/s |
| 每台服务器 FP4 Tensor 性能（稀疏与稠密） | 144 与 108 PFLOPS | 144 与 72 PFLOPS |
| 每台服务器 FP8 Tensor 性能（稀疏） | 72 PFLOPS | 72 PFLOPS |
| 每台服务器的 FP64 性能 | 10 TFLOPS | 296 TFLOPS |
如果每块 GPU 的显存决定了您的分片方式，请选择 HGX B300：270 GB 可在单块 GPU 上容纳 70B 参数模型 140 GB 的 BF16 权重，还剩 130 GB。如果您的工作同时包含训练与 FP64 模拟，请选择 HGX B200。GB300 NVL72 将 72 块 Blackwell Ultra GPU 与 36 颗 Grace CPU 连接在同一个液冷 NVLink 域中，配备 20 TB HBM3e 显存与 130 TB/s 的 NVLink 带宽。Vera Rubin 是我们已下单的下一代 NVIDIA 平台，每块 GPU 配备 288 GB HBM4 显存，并采用第六代 NVLink。
专属的无阻塞集群网络
每个 HGX B300 集群都有自己的东西向集群网络，采用轨道优化设计，完全无阻塞，每块 GPU 800 Gb/s。
- 带宽：每块 GPU 配置 1 x 800 或 2 x 400 Gb/s 网络平面，每台服务器 6.4 Tb/s，建议采用 NVIDIA ConnectX-8。
- 交换机：建议采用 NVIDIA Spectrum-X 或 Broadcom Tomahawk 6，也接受 NVIDIA Quantum InfiniBand 或 Tomahawk 5。
- 服务器内部：第五代 NVLink，每块 GPU 1.8 TB/s。
- 存储与服务：独立的南北向网络，建议每个节点 400 Gb/s，支持 RoCEv2，MTU 9000，存储 Leaf 交换机无超额订阅。
集群有三种参考规模，更大的集群也采用相同设计。
| 项目 | 64 个节点 | 128 个节点 | 288 个节点 |
|---|---|---|---|
| GPU 节点（每个 8 块 GPU） | 64 | 128 | 288 |
| GPU 数量 | 512 | 1,024 | 2,304 |
| CPU 节点 | 24 | 48 | 108 |
| 控制平面节点 | 6 | 6 | 6 |
| 存储：存储设备方案（可用容量） | 512 TB | 1,024 TB | 2,304 TB |
| 存储：存储节点方案 | 9 个节点 | 17 个节点 | 38 个节点 |
| 预估 IT 负载 | 约 0.98 MW | 约 1.95 MW | 约 4.39 MW |
每种规模都包含用于模型服务、路由与批处理作业的 CPU 节点，按集群中每块 GPU 至少 6 个硬件线程与 24 GB 内存配置，另有六个控制平面节点分布在两个机柜中。我们的 GPU 集群页面介绍了按每个 GPU 节点约 14 kW 进行的电力规划。
检查点与数据集存储
存储有两种方案，均按 GPU 数量配置；此外，每个 GPU 节点还配有至少 9.2 TB 原始容量的本地 NVMe，用于数据集分片与检查点暂存。
方案 A：托管存储设备
按您的偏好选择 VAST Data、WEKA 或 DDN 存储设备，每块 GPU 至少 1 TB 可用容量（64 节点集群为 512 TB），按存储层级承诺吞吐量与延迟，用量与配额可见，恢复机制经过测试，并提供 7×24 小时原厂升级处理。
方案 B：供您自有软件使用的存储节点
存储节点采用 30.72 TB NVMe PCIe 5.0 硬盘，每块 GPU 至少 3 TB 原始容量，最低 9 个节点，支持自加密硬盘。两种方案的说明请参阅存储与网络。
训练作业期间的故障处理方式
当硬件在作业运行途中发生故障时，我们会将该节点下线，进行维修或更换，让您的作业可以在健康的节点上重新启动。
- 致命 GPU 故障（XID 79、XID 48、双比特 ECC 错误与行重映射失败）会使节点立即进入隔离状态。
- 反复出现的 XID 13 与 XID 31 错误，会在达到与您约定的次数后进行处理。
- NCCL 停滞会与集群网络事件进行关联分析，从而把停滞的作业对应到背后的链路。
- 疑似出现静默数据损坏的节点会保持隔离。
- NVMe 硬盘会在达到耐久度上限之前更换。
运维遥测数据至少保留 30 天，事件与状态历史记录至少保留 12 个月。完整清单请参阅我们的运维承诺；我们关于长时间训练作业为何在共享云上失败的文章介绍了各种故障模式。
以老化测试取代试用
每个集群在交付前都会通过 NVIDIA 的硬件验证测试 HW-1 至 HW-5，结果写入您的验收报告。
- HW-1
集合通信吞吐量
以 nccl-tests 确认 NCCL 吞吐量达到基准值；集群网络支持时，同时启用 SHARP 加速的集合通信。
nccl-tests - HW-2
每条网络轨道
以 ib_write_bw 测试每条 InfiniBand 或 RoCE 轨道。
ib_write_bw - HW-3
GPUDirect 与存储
GPUDirect RDMA 与存储的冒烟测试，包含 NVMe 读取与写入。
GPUDirect RDMA、NVMe - HW-4
NVLink 与 NVSwitch
以 nvbandwidth 检查 NVLink 与 NVSwitch 的链路数量与带宽。
nvbandwidth - HW-5
24 小时持续负载测试
在持续功率上限下，以具有代表性的推理负载进行 24 小时持续负载测试。
功率上限下的推理负载
我们不提供试用、概念验证或短期租用。验收报告列出 NCCL 吞吐量、每一条 InfiniBand 或 RoCE 轨道、NVLink 与 NVSwitch 链路以及 24 小时持续负载测试的结果，均在您将用于训练的节点上实测。请参阅老化测试与验收，了解具体流程。
以 36 至 60 个月的合同期租用模型训练 GPU
训练集群按整台服务器出租，合同期为 36、48 或 60 个月，采用单一固定月费，合同期越长，费率越低。
获取报价
请告诉我们模型大小、服务器数量、合同期、站点，以及您何时需要这些服务器。
方案
我们会发送以《交付规格书》为基准的书面方案，您需要的每项变更都会作为编号的偏差项列出。
开户与合同
实际使用服务器的公司须填写我们的三份开户表格、签署租赁合同并支付预付款。
构建、老化测试与交付
我们在多伦多构建集群并完成老化测试，特拉华州站点上线后也可以在那里进行，随后连同验收报告、共享 Slack 频道与指定的技术客户经理一起交付给您。
余款在合同期内按月计费，不收取数据传出费用；租用规模较大时，可能需要银行保函或信用证。如果您希望由我们运维平台层，我们会安装并运维搭配 NVIDIA GPU Operator 与 Network Operator 的托管 Kubernetes，或托管 Slurm。我们关于在专属 B300 上进行持续训练的文章介绍了实验室如何围绕固定合同期安排训练计划。
买方常见问题
1Legion 出租的最小训练集群是多大？
我们出租整台服务器，因此最小单位是一台 8-GPU HGX B300 服务器，合同期 36 个月。我们的参考集群为 64、128 与 288 个节点，每个集群都在一个专属集群网络上，更大的集群也采用相同设计。
我们可以在签约前测试集群吗？
我们不提供试用或概念验证。每个集群在交付前都会通过 NVIDIA 的 HW-1 至 HW-5 硬件验证测试，您会在验收报告中收到测试结果。请参阅老化测试与验收。
1Legion 构建的训练集群网络是 InfiniBand 还是以太网？
我们的《交付规格书》建议采用 NVIDIA Spectrum-X 或 Broadcom Tomahawk 6，也接受 NVIDIA Quantum InfiniBand 或 Tomahawk 5。无论采用哪种方案，集群网络都采用轨道优化设计，完全无阻塞，每块 GPU 800 Gb/s，并且专属于您。
检查点应该选择哪种存储？
方案 A 是 VAST Data、WEKA 或 DDN 存储设备，每块 GPU 至少 1 TB 可用容量，并提供 7×24 小时原厂升级处理。方案 B 是存储节点，每块 GPU 至少 3 TB 原始容量，供您自行运行的存储软件使用。
训练作业运行期间 GPU 出现故障，会如何处理？
XID 79 或双比特 ECC 错误等致命故障会使节点立即进入隔离状态，我们会在节点重新加入您的集群之前进行维修或更换。15 分钟内即会指派事件指挥官。
1Legion 是否为训练集群提供一年或两年的合同期？
不提供。GPU 服务器的合同期为 36、48 或 60 个月，合同期越长，费率越低。