1Legion 的托管 Kubernetes 运行在专属于您的 GPU 服务器上，而不是共享节点上。我们使用 NVIDIA GPU Operator 与 Network Operator 安装集群，之后负责运维、升级和监控，并安排值班。您的团队通过 Kubernetes 部署；我们则确保平台及其底层的 GPU 与集群网络正常运行。
裸金属 GPU 服务器上的 Kubernetes
两个 NVIDIA Operator 会在每个节点上安装 GPU 与网络软件，使硬件在 Kubernetes 中呈现为 Pod 可以请求的资源。
NVIDIA GPU Operator
管理每个 GPU 节点上的 NVIDIA 驱动程序、NVIDIA Container Toolkit、Kubernetes 设备插件、GPU Feature Discovery 标签，以及基于 DCGM 的监控。Pod 以 nvidia.com/gpu 的形式请求 GPU。
NVIDIA Network Operator
安装主机网络软件：NVIDIA 网络驱动程序、设备插件、CNI 插件与 IP 地址管理，使 Pod 能够使用 RDMA 网络与 GPUDirect RDMA。
这些服务器是裸金属服务器，因此您的 Pod 与 GPU 之间没有 hypervisor，节点上也没有其他客户的工作负载。在 HGX B300 集群上，每个 GPU 节点提供 8 块 GPU（每块配备 270 GB HBM3e 显存）、每块 GPU 800 Gb/s 的集群网络带宽，以及至少 9.2 TB 的本地 NVMe，全部仅供您的工作负载使用。CPU 节点承载 GPU 周边的服务，例如模型服务、路由与批处理，每块 GPU 对应至少 6 个硬件线程与 24 GB 内存。
GPU Feature Discovery 会为每个节点打上 GPU 型号、显存与驱动程序版本标签，这样部署就可以用普通的节点选择器选取所需节点。
托管的具体含义
只要集群由我们托管，以下四项工作就始终由我们负责：运维、升级、监控，以及随时响应。
运维
我们负责运维控制平面、两个 Operator 及每个节点。出现致命 GPU 故障（XID 79、XID 48、双比特 ECC 错误、行重映射失败）的节点会被立即隔离。
升级
我们按照书面变更管理流程升级 Kubernetes、Operator 与 GPU 驱动程序，高风险操作至少提前 7 个自然日通知。
监控
收集每块 GPU 的 DCGM 指标，以及通过 BMC 与 Redfish 获取的带外硬件遥测数据。运维遥测数据至少保存 30 天，事件与状态历史记录至少保存 12 个月。
无论何时，网络运维团队都会在 15 分钟内投入处理，机房工程或现场代操作人员则在 45 分钟内投入处理。XID 13 与 XID 31 错误反复出现时，会在达到与您约定的次数后再处理。另有两项承诺对长时间训练尤为重要：我们会将 NCCL 停滞与集群网络事件进行关联分析，并在 NVMe 硬盘达到耐久度上限之前予以更换。
责任共担
我们负责运维从硬件到 Kubernetes 的平台；您负责运行自己在平台上部署的内容。
| 类别 | 1Legion 负责 | 您负责 |
|---|---|---|
| 服务器、电力与散热 | 找出并修复硬件、机房与散热故障 | 在共享 Slack 频道中报告任何异常情况 |
| GPU 故障 | 立即隔离出现致命 GPU 故障的节点，并将疑似发生静默数据损坏的节点保持隔离 | 为作业保存检查点，以便在健康节点上恢复运行 |
| Kubernetes 与节点软件 | 安装、升级并监控 Kubernetes、GPU Operator、Network Operator 与 GPU 驱动程序 | 告诉我们您的软件依赖哪些版本 |
| 集群网络与边缘网络 | 运维东西向网络、南北向网络与边缘网络，并在一个工作日内完成边缘 ACL 变更 | 决定边缘 ACL 规则，以及您的服务对外开放哪些内容 |
| 事件 | 在 15 分钟内确认受理、指派事件指挥官、至少每 60 分钟更新一次，并在任何影响客户的事件发生后 7 天内撰写复盘报告 | 在共享频道中或通过值班联系渠道提出问题 |
| 工作负载 | 确保工作负载所在的节点与 GPU 保持正常运行 | 容器、模型、数据集与检查点，以及使用它们的部署与作业 |
| 监控 | 监控集群、节点与 GPU 的健康状态 | 监控您自己的应用程序与模型 |
升级与维护
集群的每项变更都遵循书面变更管理流程，高风险的非紧急维护至少提前 7 个自然日通知。
Kubernetes、两个 Operator 与 GPU 驱动程序的升级，只要属于高风险操作，就适用这一规则，与硬件上的操作相同。紧急操作（例如在事件期间恢复服务）则改按事件处理流程进行。长时间训练作业为何在共享云上失败说明了未经通知的驱动程序更新会对进行中的训练造成什么影响。资产清单记录每个节点、GPU、网卡与硬盘，检测相对于约定基准的漂移，并在 5 分钟内通过机器可读的导出文件向您呈现状态变更。我们对您服务器的带外访问均经过审计。
托管 Slurm
托管 Slurm 是另一种选择，适合偏好以批处理作业方式调度工作负载的团队。
使用 sbatch 与 srun 提交训练作业并按分区与优先级排队的研究团队，通常更偏好 Slurm 而非 Kubernetes。我们会运维您团队偏好的调度器，并在您的方案中写明。无论选择哪一种，服务器、集群网络与 HW-1 至 HW-5 老化测试都相同，包括我们事件指挥官在内的共享频道也一样。两者底层的硬件请参阅 GPU 集群。
托管 Kubernetes 如何计价
托管 Kubernetes 是在服务器租用之外另行计价的管理服务，在您的方案中单独列为一项。
没有公开的收费标准，也没有自助注册。我们正在开发自有平台软件，用于资产清单管理、监控与老化测试自动化。目前，您通过共享 Slack 频道、指定的技术客户经理、交付时的验收报告以及我们发送的报告与我们合作。采购方式介绍了合同条款、计费与开户。
买方常见问题
会安装哪些 NVIDIA 软件？
NVIDIA GPU Operator 与 NVIDIA Network Operator。两者共同管理每个节点上的 GPU 驱动程序、容器工具包、设备插件、GPU Feature Discovery、DCGM 监控与 RDMA 网络软件。
是否提供托管 Slurm？
提供。托管 Slurm 是另一种选择，适合偏好批处理调度的团队，您的方案会写明我们为您运维的调度器。
GPU 故障时会怎么处理？
如果节点出现致命 GPU 故障（例如 XID 79、XID 48、双比特 ECC 错误或行重映射失败），会被立即隔离，由我们找出并修复故障。
维护前会提前多久通知？
高风险的非紧急维护至少提前 7 个自然日通知，且每项变更都遵循书面变更管理流程。
集群有 Web 控制台吗？
还没有。我们正在开发自有平台软件；目前，您通过共享 Slack 频道、指定的技术客户经理和书面报告与我们合作。
托管 Kubernetes 如何计价？
作为服务器租用之外的一项管理服务单独计价，在您的书面方案中列明。我们不公布价格。