規格
| GPU | |
|---|---|
| 架構 | NVIDIA Ada Lovelace |
| 記憶體 | 48 GB GDDR6，支援 ECC |
| 記憶體頻寬 | 864 GB/s |
| CUDA 核心 | 18,176 |
| Tensor 核心 | 568 個，第四代 |
| RT 核心 | 142 個，第三代 |
| FP8 Tensor | 密集 733 TFLOPS，稀疏 1,466 TFLOPS |
| FP16 與 BF16 Tensor | 密集 362.05 TFLOPS，稀疏 733 TFLOPS |
| TF32 Tensor | 密集 183 TFLOPS，稀疏 366 TFLOPS |
| INT8 Tensor | 密集 733 TOPS，稀疏 1,466 TOPS |
| FP32 | 91.6 TFLOPS |
| RT 核心效能 | 212 TFLOPS |
| 媒體引擎 | 3 個 NVENC 與 3 個 NVDEC，支援 AV1 編碼與解碼 |
| 互連 | PCIe Gen4 x16，64 GB/s；無 NVLink |
| 虛擬化 | 支援 NVIDIA vGPU；不支援 MIG |
| 每顆 GPU 功耗 | 350 W |
| 外形規格 | 雙槽，4.4 吋 x 10.5 吋，被動散熱 |
| 交付時的伺服器配置 | |
|---|---|
| 每台伺服器的 GPU 數 | 8 |
| 每台伺服器的 GPU 記憶體 | 384 GB（8 x 48 GB） |
| 每台伺服器的 GPU 板卡功耗 | 2,800 W（8 x 350 W） |
| CPU、系統記憶體、儲存與網路 | 依您的需求配置，並在您的提案書中確認 |
典型工作負載
- 每顆 GPU 48 GB 可容納之模型的推論
- 渲染與 3D 繪圖
- 支援 AV1 編碼與解碼的影片處理
- 在同一機群上混合執行 AI 與繪圖
租用搭載八顆 NVIDIA L40S GPU 的專屬伺服器，用於推論、渲染與影片。L40S 伺服器依需求提供：我們會依您的需求採購並配置，合約期 36、48 或 60 個月。
L40S 適合哪些團隊
L40S 是 NVIDIA 採用 Ada Lovelace 架構的多用途資料中心 GPU，設計用於在同一套硬體上執行 AI 與繪圖工作。NVIDIA 稱之為「通用資料中心 GPU」。
它適合需要為每顆 GPU 48 GB 可容納的模型提供推論服務、進行渲染或執行 3D 工作負載，以及處理影片的團隊，這些工作往往在同一組伺服器上進行。每顆 GPU 配備支援 ECC 的 48 GB GDDR6，每台伺服器 384 GB，採用專為伺服器氣流設計的被動散熱卡。由於同一張卡既能渲染也能提供模型推論服務，您可以隨工作組合的變化，將伺服器在繪圖與推論工作之間調配，無需另備一套硬體。
它的優勢
FP8 推論
每顆 GPU 的密集 FP8 為 733 TFLOPS（啟用稀疏性時為 1,466 TFLOPS），密集 BF16 或 FP16 為 362 TFLOPS，來自 568 個第四代 Tensor 核心。
繪圖與渲染
142 個第三代 RT 核心，效能 212 TFLOPS；18,176 個 CUDA 核心；FP32 為 91.6 TFLOPS。
影片
每顆 GPU 有三個 NVENC 與三個 NVDEC 引擎，支援 AV1 編碼與解碼，每台伺服器共 24 個編碼器。
電力
每顆 GPU 350 W，採雙槽卡；每台 8-GPU 伺服器的 GPU 板卡功耗為 2,800 W。
每顆 GPU 的記憶體頻寬為 864 GB/s。L40S 支援 NVIDIA vGPU 軟體，但不支援 MIG；GPU 透過 PCIe Gen4 x16 以 64 GB/s 連接，沒有 NVLink。比起需要持續 GPU 對 GPU 通訊的模型，它更適合在單顆 GPU 上執行，或透過 PCIe 分散到兩、三顆 GPU 的工作。
交付時的配置
L40S 伺服器依您的需求配置，並在您的提案書中確認，包括 CPU、系統記憶體、本機 NVMe 與網路。請告訴我們伺服器將執行推論、渲染或兩者兼具，我們會依此工作組合配置主機記憶體與儲存。
每台伺服器在交付前都會完成燒機測試，結果會載入驗收報告。我們的燒機與驗收頁面說明這如何取代試用。
租用方式
工作負載與替代方案
依記憶體規劃容量：權重、KV 快取與餘裕空間都必須放入每顆 GPU 的 48 GB 中。以 FP8 執行的 30B 參數模型可放入一顆 L40S；以 FP8 執行的 70B 模型光是權重就需要約 70 GB，因此需要兩顆 GPU。
請為 KV 快取保留空間，它會隨上下文長度與並行數增加。以 70B 模型而言，每個 token 約占 0.33 MB，一個 8K token 的序列約需 2.7 GB；因此，存放 70 GB FP8 權重的兩顆 L40S GPU，約剩 26 GB 可供快取與餘裕空間使用。
我們的 AI 推論頁面介紹在專屬伺服器上提供推論服務，媒體與娛樂頁面則介紹渲染與影片。在專屬裸機上執行 LLM 推論與 70 GB 的權重，四顆 GPU 說明了容量規劃的原則。
若您需要每顆 GPU 有更多記憶體或支援 FP4，RTX PRO 6000 Blackwell 每顆 GPU 配備 96 GB，並已在蒙特婁開放預訂。對於以繪圖為主、需要 48 GB 記憶體並以 NVLink 橋接器連接成對顯示卡的工作，請參閱 RTX A6000。
買方常見問題
L40S 或 RTX PRO 6000 Blackwell：我們該租用哪一款？
RTX PRO 6000 Blackwell 每顆 GPU 的記憶體多一倍（96 GB 對 48 GB），支援 FP4，並已在蒙特婁開放預訂。L40S 則適合在每顆 GPU 48 GB 內即可順利執行的工作。
48 GB 可以容納什麼？
權重、KV 快取與餘裕空間可放入 48 GB 的模型。以 FP8 執行的 30B 參數模型，權重約需 30 GB，可放入單顆 GPU；以 FP8 執行的 70B 模型約需 70 GB，因此需要兩顆 GPU。
L40S 支援 MIG 或 NVLink 嗎？
根據 NVIDIA 的資料，兩者都不支援。L40S 支援 NVIDIA vGPU 軟體，其 GPU 透過 PCIe Gen4 x16 連接。
我們最快何時可以取得 L40S 伺服器？
L40S 伺服器依需求提供。您的書面提案書會載明您所需數量的交付時程。
有哪些合約期可選擇？
36、48 或 60 個月，合約期越長，費率越低。您在簽約時支付預付款，之後在整個合約期內支付單一固定月費，且不收取資料傳出費用。