專屬 NVIDIA GPU 伺服器

我們以長期合約出租整台專屬 GPU 伺服器，所有價格都會在您簽約前以書面提案書提供。

裸機與共用 GPU 基礎架構比較說明專屬硬體在正式環境中帶來哪些改變。

產品目錄依硬體的設計用途分為四類：訓練、機櫃級系統、推論，以及繪圖與媒體。

A100 80GB SXM 伺服器（HGX 基板上搭載八顆 GPU）也可依需求提供。

訓練：HGX B300 與 HGX B200

HGX B300 是我們的主力產品線：八顆 Blackwell Ultra GPU，每顆配備 270 GB HBM3e，每台伺服器 2.1 TB，以第五代 NVLink 互連，每顆 GPU 1.8 TB/s。我們的參考 GPU 叢集就是以它建置，叢集網路為每顆 GPU 800 Gb/s。HGX B200 每顆 GPU 配備 180 GB HBM3e，每台伺服器 1,440 GB，且保留了高得多的雙精度效能：NVIDIA 公布每塊 8-GPU 基板的 FP64 為 296 TFLOPS，而 HGX B300 為 10 TFLOPS。若模擬或其他 FP64 工作與 AI 共用叢集，請選擇 B200。8 x 270GB：B300 節點能容納哪些模型逐一分析 405B 與 70B 模型。

需提前預訂：GB300 NVL72 與 Vera Rubin

GB300 NVL72 是一個液冷機櫃，在單一 NVLink 網域中整合 72 顆 Blackwell Ultra GPU 與 36 顆 Grace CPU；依 NVIDIA 公布的規格，配備 20 TB HBM3e，NVLink 總頻寬 130 TB/s。Vera Rubin 是 NVIDIA 的下一代平台，每顆 Rubin GPU 配備 288 GB HBM4，我們已訂購 Rubin 伺服器。兩者都需提前預訂。我們的機房要求包括導入晶片直接液冷的可行途徑，以支援 GB300 NVL72 及後續系統。

推論：RTX PRO 6000 Blackwell 與 L40S

RTX PRO 6000 Blackwell 伺服器搭載八顆 GPU，每顆配備 96 GB GDDR7，每台伺服器 768 GB，由蒙特婁提供服務。L40S 伺服器搭載八顆 GPU，每顆配備 48 GB GDDR6。這兩款 GPU 卡都沒有 NVLink，因此 GPU 之間透過 PCIe 交換資料：這類伺服器適合每個副本可放入一顆或少數幾顆 GPU 的模型，例如以 FP8 在單張 96 GB GPU 卡上執行的 70B 模型。8 x 96GB：RTX PRO 6000 Blackwell 節點能容納哪些模型逐步說明記憶體的計算方式。

繪圖與媒體：GeForce 與 RTX 工作站顯示卡

RTX 5090（32 GB）、RTX 4090（24 GB）與 RTX A6000（48 GB）伺服器搭載八顆 GPU；RTX 4000 Ada（20 GB）與 RTX A4000（16 GB）伺服器則搭載四顆。

每款伺服器都標有三種標籤之一，說明其硬體目前的狀態。

四個問題可以縮小選擇範圍：每顆 GPU 需要多少記憶體、GPU 之間如何通訊、作業橫跨多少台伺服器，以及工作負載是什麼。

每顆 GPU 的記憶體

記憶體決定能放入什麼。權重，加上推論所需的 KV 快取，或訓練所需的最佳化器狀態與活化值，都必須存放在 GPU 記憶體中；以 FP8 執行的 70B 參數模型，光是權重就需要約 70 GB。70GB 的權重，四顆 GPU 說明了每種記憶體容量還能留給 KV 快取多少空間。

互連

當一個模型分散在多顆 GPU 上時，GPU 之間的頻寬決定執行速度。HGX B300 與 B200 伺服器為每顆 GPU 提供 1.8 TB/s 的 NVLink 頻寬，GB300 NVL72 將 72 顆 GPU 結合在單一 NVLink 網域中，而 PCIe 伺服器依賴 PCIe 匯流排：L40S 為 64 GB/s。在伺服器之間，HGX B300 叢集使用軌道最佳化、完全無阻塞的叢集網路，每顆 GPU 800 Gb/s。

叢集規模

超過一台伺服器時，我們的參考叢集包含 64、128 或 288 個 HGX B300 節點，在單一專屬叢集網路上最多 2,304 顆 GPU，而且設計可以延伸到更大規模。請參閱 GPU 叢集與交付規格書。

工作負載