1Legion 对 GPU 集群存储与网络的规格要求与 GPU 一样严格:按 GPU 数量配置的存储、专属的南北向网络、带 DDoS 流量清洗的冗余互联网边缘,并可使用您自有的地址与 ASN。本页所有数字均来自我们针对 HGX B300 集群的《交付规格书》,如有偏差项,您的方案会逐项编号列出。对于其他服务器,存储与网络会按您的需求配置,并在您的方案中确认。
两种存储方案
您可以选择由原厂托管的存储设备,或运行您自有软件的存储节点;两者都按集群中的 GPU 数量配置。
| 方案 A:存储设备 | 方案 B:存储节点 | |
|---|---|---|
| 您将获得 | 由 VAST Data、WEKA 或 DDN 原厂托管的存储设备,按您的偏好选择 | 用于运行您自有存储软件的存储节点 |
| 容量 | 每块 GPU 至少 1 TB 可用容量 | 每块 GPU 至少 3 TB 原始容量 |
| 硬盘 | 原厂支持的设计 | 30.72 TB NVMe PCIe 5.0,支持自加密硬盘 |
| 参考规模 | 64、128 与 288 个节点分别对应 512 TB、1,024 TB 与 2,304 TB 可用容量 | 9、17 与 38 个节点,最低 9 个 |
| 服务 | 7×24 小时原厂升级处理、按层级承诺的吞吐量与延迟、可见的用量与配额、经过测试的恢复机制 | 我们运维硬件,并在 NVMe 硬盘达到耐久度上限前进行更换;存储软件由您自行运维 |
原始容量按您的存储软件进行数据保护之前计算;可用容量是存储设备在原厂数据保护之后实际提供的容量。方案 A 适合希望由一家原厂对吞吐量、延迟与恢复负责的团队。方案 B 适合已经自行运维存储软件、需要的是硬盘与节点而不是托管系统的团队。
每个 GPU 节点还配有自己的 NVMe:至少 9.2 TB 原始容量用于本地数据,是该节点 2.1 TB 显存的四倍以上,另有两块镜像的 1 TB 系统盘(建议采用)。老化测试 HW-3 涵盖 GPUDirect RDMA 与存储冒烟测试,包括 NVMe 读写。
对于训练,检查点的大小与频率决定了您所需的写入吞吐量。长时间训练作业为何在共享云上失败一文介绍了长时间作业中的存储 I/O 与检查点机制。
南北向网络
南北向网络将每个节点连接到存储、CPU 服务与边缘网络,并与 GPU 集群网络一样只承载您的流量。
- 每个节点:建议 400 Gb/s,最低 200 Gb/s,通过 NVIDIA BlueField-3 前端网卡提供 2 x 400 Gb/s(建议采用)或 2 x 200 Gb/s。
- 超额订阅:存储 Leaf 交换机无超额订阅,其上行链路与下方所有端口的总带宽相匹配;GPU Leaf 交换机低于 4:1。
- 协议:支持 RoCEv2,存储与服务流量可通过路由以太网使用 RDMA,并采用 MTU 9000 巨型帧。
- 租户模式:专属于单一客户,并与 GPU 集群页面介绍的东西向 GPU 集群网络相互独立。
互联网边缘与 DDoS 防护
您的集群通过两家独立的 IP Transit 供应商与两台冗余边缘路由器接入互联网,DDoS 流量清洗可通过 BGP 在 5 分钟内启动。
- IP Transit:两家独立的供应商,每条线路 100 Gb/s,采用物理分离的路径,因此一处光纤中断不会导致两条线路同时中断。
- 路由:eBGP 搭配 BFD,可检测到故障路径,并在一分钟内完成流量故障切换。
- 边缘路由器:两台,互为冗余,采用 A/B 双路供电。
- 边缘 ACL:按您的规则编写,变更在一个工作日内完成。
- DDoS 防护:由成熟的供应商提供针对第 3 层与第 4 层流量型攻击的清洗,通过 BGP 在 5 分钟内启动,清洗能力至少 1 Tb/s。
NAT 与公网地址
出站流量经由一对冗余 NAT 设备,从只有您使用的地址发出;入站服务则使用专属的公网地址,可在 5 秒内完成故障切换。
NAT 与传出流量
一对冗余的高可用 NAT 设备在专属的 SNAT 地址(通常为四个)上处理至少 1,000 万个并发会话,合作伙伴可以按地址将您的出站流量加入白名单。
公网服务地址
您将获得专属的公网地址(通常为八个),并可通过 BGP 宣告您的服务 VIP,5 秒内完成故障切换。IPv6 与 IPv4 以双栈方式同时运行。
使用您自有的 IP 地址空间与 ASN
如果您拥有自己的 IP 地址空间与 ASN,我们的边缘网络可以代为宣告,让您的服务继续使用用户与合作伙伴已经熟悉的地址。
- 您的前缀与 ASN:边缘网络宣告客户自有的前缀与您的 ASN。
- RPKI:遵循您前缀对应的路由起源授权(ROA)。
- 会话安全:BGP 会话均经过验证。
网络遥测
费率涵盖的项目
费率涵盖服务器以及连接服务器的网络。存储以及 GPU 周边的节点单独列项计价,您按设计实际使用的部分付费。
| 项目 | 列示位置 |
|---|---|
| GPU 服务器,包括其 CPU、内存、NVMe 硬盘与网卡 | 包含在费率中 |
| HGX B300 集群的集群网络,每块 GPU 800 Gb/s | 包含在费率中 |
| 按《交付规格书》构建的南北向网络 | 包含在费率中 |
| 边缘网络:两家 IP Transit 供应商、冗余边缘路由器、专属公网地址与 DDoS 流量清洗 | 每个 HGX B300 集群均包含 |
| 互联网带宽在您的方案中确定,不收取数据传出费用 | 包含在费率中 |
| VAST Data、WEKA 或 DDN 存储设备,或存储节点 | 在您的方案中单独列项 |
| 超出服务器标准硬盘的本地 NVMe | 在您的方案中单独列项 |
| CPU 与控制平面节点 | 在您的方案中分别单独列项 |
| 更多带宽,以及超出《交付规格书》的网络设计 | 在您的方案中报价 |
采购方式介绍了合同条款、计费以及方案包含的其他内容。
买方常见问题
1Legion 提供哪些厂商的存储?
可按您的偏好选择由 VAST Data、WEKA 或 DDN 原厂托管的存储设备,或运行您自有存储软件的存储节点。
HGX B300 集群附带多少存储容量?
选择存储设备时,每块 GPU 至少 1 TB 可用容量(64 节点集群即 512 TB);选择存储节点时,每块 GPU 至少 3 TB 原始容量。每个 GPU 节点另有至少 9.2 TB 原始容量的本地 NVMe。
会收取数据传出费用吗?
不收取。集群在合同期内按单一固定费率计费,没有数据传出费用。
我们可以使用自己的 IP 地址与 ASN 吗?
可以。边缘网络可以宣告您的前缀与 ASN,遵循 RPKI ROA,并对 BGP 会话进行验证。
DDoS 防护多快可以启动?
针对第 3 层与第 4 层流量型攻击的清洗通过 BGP 在 5 分钟内启动,清洗能力至少 1 Tb/s。
这些规格适用于所有服务器吗?
这些规格适用于按我们的交付规格书构建的 HGX B300 集群。对于其他服务器,存储与网络会按您的需求配置,并在您的方案中确认。