NVIDIA L40S

L40S 是 NVIDIA 采用 Ada Lovelace 架构的多用途数据中心 GPU，设计用于在同一套硬件上运行 AI 与图形工作负载。NVIDIA 称之为“通用数据中心 GPU”。

它适合需要为每块 GPU 48 GB 显存可容纳的模型提供推理服务、进行渲染或运行 3D 工作负载，以及处理视频的团队，这些工作往往在同一组服务器上进行。每块 GPU 配备支持 ECC 的 48 GB GDDR6 显存，每台服务器 384 GB，采用专为服务器气流设计的被动散热卡。由于同一张卡既能渲染也能提供模型推理服务，您可以随工作组合的变化，将服务器在图形与推理工作之间调配，无需另备一套硬件。

每块 GPU 的显存带宽为 864 GB/s。L40S 支持 NVIDIA vGPU 软件，但不支持 MIG；GPU 通过 PCIe Gen4 x16 以 64 GB/s 连接，没有 NVLink。比起需要持续进行 GPU 间通信的模型，它更适合在单块 GPU 上运行，或通过 PCIe 分散到两三块 GPU 的工作。

L40S 服务器按您的需求配置，并在您的方案中确认，包括 CPU、系统内存、本地 NVMe 与网络。请告诉我们服务器将运行推理、渲染还是两者兼有，我们会根据这一工作组合配置主机内存与存储。

每台服务器在交付前都会完成老化测试，结果会写入验收报告。我们的老化测试与验收页面说明这如何取代试用。

L40S 服务器按需提供。请告诉我们服务器数量、合同期与开始日期，我们会在书面方案中确认配置与交付时间表。

合同期为 36、48 或 60 个月，合同期越长，费率越低。实际使用服务器的公司须在签约前填写三份开户表格。您在签约时支付预付款，之后在整个合同期内支付单一固定月费，且不收取数据传出费用。我们的采购方式页面说明每个步骤，数据中心页面则列出服务器的所在地点。

按显存规划容量：权重、KV 缓存与余量都必须放入每块 GPU 的 48 GB 显存中。以 FP8 运行的 30B 参数模型可放入一块 L40S；以 FP8 运行的 70B 模型光是权重就需要约 70 GB，因此需要两块 GPU。

请为 KV 缓存预留空间，它会随上下文长度与并发数增加。以 70B 模型而言，每个 token 约占 0.33 MB，一个 8K token 的序列约需 2.7 GB；因此，存放 70 GB FP8 权重的两块 L40S GPU，约剩 26 GB 可供缓存与余量使用。

我们的 AI 推理页面介绍在专属服务器上提供推理服务，媒体与娱乐页面则介绍渲染与视频。在专属裸金属上运行 LLM 推理与 70 GB 的权重，四块 GPU 说明了容量规划的原则。

若您需要每块 GPU 有更多显存或支持 FP4，RTX PRO 6000 Blackwell 每块 GPU 配备 96 GB 显存，并已在蒙特利尔开放预订。对于以图形为主、需要 48 GB 显存并以 NVLink 桥接器连接成对显卡的工作，请参阅 RTX A6000。