1Legion 以整台机器的形式出租用于 AI 推理的 GPU 服务器：八块 NVIDIA GPU 只处理您的流量，您的推理服务软件栈与硬件之间没有 hypervisor。您按每块 GPU 的显存选择服务器，因为权重以及每个进行中请求的 KV 缓存都必须容纳在其中。
专属推理服务器让延迟维持可预测
在专属服务器上，竞争显存与显存带宽的请求只有您自己的。
对稠密模型而言，每生成一个 token 都要从显存读取全部权重，因此显存带宽决定了解码速度。以 FP8 表示的 70B 参数模型有 70 GB 的权重，而 HGX B300 GPU 的显存读取速度为 7.7 TB/s，因此在不计 KV 缓存读取的情况下，单个序列的上限约为每秒 110 个 token。批处理可让同一次读取服务多个序列。在共享硬件上，其他租户的负载会改变这个上限。在我们的硬件上只有一个租户，也没有 hypervisor；我们这一端的变更遵循书面变更管理，高风险维护至少提前 7 天通知。我们的文章为何 LLM 推理在共享 GPU 基础设施上会出问题说明了其中的机制。
按权重与 KV 缓存配置的 LLM 推理硬件
您需要的显存，等于模型权重加上每个并发序列的 KV 缓存，再加上留给激活值与运行时的余量。
在 FP16 或 BF16 下，每个参数的权重占 2 个字节，FP8 为 1 个字节，FP4 为半个字节，因此 70B 参数模型分别需要 140 GB、70 GB 和 35 GB。KV 缓存会随每个处理中的 token 增加：一个具有 80 层与 8 个 KV 头的 Llama 3 70B 级模型，在 16 位精度下每个 token 约占 0.33 MB，一个 32,768 token 的序列约需 10.7 GB。
| FP8 的 70B 模型，单块 GPU | 扣除权重后的剩余显存 | 8K 序列并发数 | 32K 序列并发数 |
|---|---|---|---|
| HGX B300，270 GB | 约 200 GB | 约 74 | 约 18 |
| RTX PRO 6000 Blackwell，96 GB | 约 26 GB | 约 9 | 约 2 |
这些是上限值。计算时未计入激活值与框架开销，并假设 KV 缓存为 16 位；将缓存量化可以提高这些上限。完整计算过程请见在 96 与 270 GB 下 KV 缓存还剩多少空间。
哪种服务器适合哪种模型
HGX B300 用于最大的模型与最长的上下文，RTX PRO 6000 Blackwell 用于 FP8 或 FP4 精度的 70B 级模型，L40S 则用于较小的模型。
HGX B300
每块 GPU 配备 270 GB HBM3e 显存，带宽 7.7 TB/s，每台服务器 2.1 TB。FP4 精度的 405B 参数模型约 203 GB，单块 GPU 即可容纳，还剩约 67 GB 留给缓存。开放预订，位于多伦多。
RTX PRO 6000 Blackwell
每块 GPU 配备 96 GB 支持 ECC 的 GDDR7 显存，每台服务器 768 GB，第五代 Tensor Core 支持 FP8 与 FP4。加载 FP4 精度的 70B 模型后，每块 GPU 约剩 61 GB 留给缓存。开放预订，位于蒙特利尔。
L40S
每块 GPU 配备 48 GB 支持 ECC 的 GDDR6 显存，带宽 864 GB/s，每台服务器 384 GB，稠密 FP8 算力 733 TFLOPS。FP16 精度的 8B 参数模型占用 16 GB，还剩约 32 GB 留给缓存。按需提供。
当单个模型所需的显存超过一台服务器的容量时，GB300 NVL72 将 72 块 GPU 与 20 TB HBM3e 显存置于同一个 NVLink 域中，NVLink 带宽为 130 TB/s，需提前预订。
每块 GPU 一个副本，每台服务器八个
一台 8-GPU 服务器就是八个独立的显存池，因此大多数部署会在负载均衡器后面，为每块 GPU 运行一个模型副本。
在 HGX B300 上，可以运行八个 FP8 精度的 70B 模型副本，每个副本约可容纳 18 个 32K token 的序列；也可以运行四个 FP8 精度的 405B 模型双 GPU 副本，通过每块 GPU 1.8 TB/s 的 NVLink 互联。RTX PRO 6000 Blackwell GPU 通过 PCIe 5.0 x16 而非 NVLink 连接，因此适合每块 GPU 一个副本：八个 FP4 精度的 70B 副本，或者四块 GPU 提供推理服务，另外四块微调下一个版本。其显存带宽约为 B300 GPU 的五分之一，因此更适合批处理推理服务，而不是追求最低的单流延迟。对于小型模型，MIG 可将一块 RTX PRO 6000 最多划分为四个 24 GB 实例，将一块 B300 GPU 最多划分为七个实例。我们的文章 B300 节点能容纳哪些模型与 RTX PRO 6000 节点能容纳哪些模型给出了具体布局。
通过边缘网络承载公网流量
在按我们的《交付规格书》构建的 HGX B300 集群上，边缘网络专为公网推理端点设计。
- 两家独立的 IP Transit 供应商，每条线路 100 Gb/s，采用物理分离的路径，并使用 eBGP 与 BFD。
- 专属的公网服务地址（通常为八个），通过 BGP 宣告您的 VIP，5 秒内完成故障切换，并支持 IPv6 双栈。
- 针对第 3 层与第 4 层流量型攻击的 DDoS 流量清洗，清洗能力至少 1 Tb/s，通过 BGP 在 5 分钟内启动。
- 一对冗余 NAT 设备，支持至少 1,000 万个并发会话，并提供专属的 SNAT 地址。
- 可使用您自有的 IP 地址空间与 ASN，并遵循 RPKI ROA。
完整设计请参阅存储与网络，在 B300 上提供推理服务的内容请参阅 B300 用于生产环境推理。
推理服务器的运行地点
HGX B300 在多伦多运行，RTX PRO 6000 Blackwell 及其他推理服务器在蒙特利尔运行。
多伦多
运营中NVIDIA HGX B300 服务器与集群。
蒙特利尔
运营中RTX PRO 6000 Blackwell 及其他推理服务器，并提供现场工程支持。
特拉华州
即将上线为需要在美国境内获得算力的客户提供 HGX B300 容量。
赫尔辛基
开发中一个正在开发的存量工业厂房站点，将改建为数据中心，提供未来在欧洲的容量。
合作伙伴网络：北美、欧洲、非洲与澳大利亚 26 个城市的 49 个数据中心。 查看所有地点
位于美国特拉华州的 HGX B300 容量即将上线。如果您的数据必须留在加拿大境内，请选择多伦多或蒙特利尔；请参阅我们的数据中心与加拿大 GPU 云。
推理服务器的租用方式
推理服务器按整台出租，合同期为 36、48 或 60 个月，采用书面方案中确定的单一固定月费；您的端点发出的流量不收取数据传出费用。
您在签约时支付预付款，之后在合同期内按月付款，合同期越长，费率越低。采购方式说明了开户表格与合同。
买方常见问题
我们可以只租用单块 GPU 进行推理吗？
不可以。我们出租的是整台服务器，每台配备八块 GPU。您可以在每块 GPU 上运行一个模型副本，或使用 MIG 实例，从而在一台服务器上运行多个模型。
哪种服务器适合 70B 模型？
RTX PRO 6000 Blackwell 可在单块 96 GB GPU 上容纳 FP8 或 FP4 的 70B 模型。若需要长上下文或高并发，HGX B300 在加载 FP8 权重后，每块 GPU 约有 200 GB 可供 KV 缓存使用。
1Legion 是否按 token、按请求或按数据传出收费？
不按这些方式收费。您在合同期内为服务器支付单一固定月费，且不收取数据传出费用。
我们可以在签约前对模型进行基准测试吗？
我们不提供试用或概念验证。我们的工程师会根据您模型的权重、上下文长度与并发数，与您一起决定服务器配置；每个集群在交付前都会完成老化测试，结果记录于验收报告中。
1Legion 的推理服务器位于哪里？
HGX B300 服务器位于多伦多，RTX PRO 6000 Blackwell 及其他推理服务器位于蒙特利尔。位于美国特拉华州的 HGX B300 容量即将上线。
我们可以运行哪些推理服务软件？
这些服务器是裸金属服务器，因此由您自行安装软件栈，例如 vLLM、SGLang 或 TensorRT-LLM。我们也可以在其下层安装并运维托管 Kubernetes。