規格
| GPU | |
|---|---|
| 配置 | 72 顆 NVIDIA Blackwell Ultra GPU 與 36 顆 NVIDIA Grace CPU |
| 架構 | NVIDIA Grace Blackwell Ultra |
| 每顆 GPU 的記憶體 | 279 GB HBM3e，8 TB/s |
| 每個機櫃的 GPU 記憶體 | 20 TB HBM3e，最高 576 TB/s |
| 每個機櫃的 CPU 記憶體 | 17 TB LPDDR5X，14 TB/s |
| 每個機櫃的高速記憶體 | 37 TB（HBM3e 加上 LPDDR5X） |
| 每個機櫃的 CPU 核心數 | 2,592 個 Arm Neoverse V2 核心 |
| 每個機櫃的 FP4 Tensor 效能 | 稀疏 1,440 PFLOPS，密集 1,080 PFLOPS |
| 每個機櫃的 FP8 與 FP6 Tensor 效能 | 稀疏 720 PFLOPS |
| 每個機櫃的 FP16 與 BF16 Tensor 效能 | 稀疏 360 PFLOPS |
| 每個機櫃的 TF32 Tensor 效能 | 稀疏 180 PFLOPS |
| 每個機櫃的 FP32 效能 | 6 PFLOPS |
| 每個機櫃的 FP64 效能 | 100 TFLOPS |
| NVLink | 第五代，每顆 GPU 1.8 TB/s，每個機櫃 130 TB/s |
| 每顆 GPU 功耗 | 可設定，最高 1,400 W |
| 交付時的伺服器配置 | |
|---|---|
| 出租單位 | 一個完整機櫃，72 顆 GPU 與 36 顆 CPU |
| 散熱 | 全液冷 |
| 機房 | 晶片直接液冷，於部署前確認 |
| 機櫃配置 | 依您的需求配置，並在您的提案書中確認 |
| 網路 | |
|---|---|
| 橫向擴充網路 | NVIDIA ConnectX-8 SuperNIC，每顆 GPU 800 Gb/s |
| 機櫃外的叢集網路 | 與您共同設計，並在您的提案書中確認 |
典型工作負載
- 推理模型與混合專家模型的機櫃級推論
- 模型平行化跨越超過八顆 GPU 的訓練
- 機櫃級規模的擴散式影片生成
以預訂方式租用 NVIDIA GB300 NVL72 機櫃：72 顆 Blackwell Ultra GPU 與 36 顆 Grace CPU 結合在單一 NVLink 網域中，採用液冷，整個機櫃都專屬於您。預訂採 36、48 或 60 個月合約，所有價格均載於書面提案書中。
GB300 NVL72 的適用對象
GB300 NVL72 適合需要超過八顆 GPU 以 NVLink 速度互相通訊的模型。在 8-GPU 伺服器上，伺服器之間的流量經由網路傳輸，每顆 GPU 800 Gb/s。在 GB300 NVL72 機櫃中，全部 72 顆 GPU 共用一個 NVLink 網域，每顆 GPU 1.8 TB/s，總計 130 TB/s。
這對以下情況很重要：將專家分散到多顆 GPU 上的混合專家模型、訓練中的大型張量平行群組，以及同時為大量使用者處理長上下文的推理模型。NVIDIA 也將此機櫃定位於擴散式影片生成。
它的優勢
單一 NVLink 網域
單一 NVLink 網域中有 72 顆 GPU 與 36 顆 Grace CPU，NVLink 總頻寬 130 TB/s。
每個機櫃的記憶體
20 TB HBM3e，頻寬最高 576 TB/s，相當於每顆 GPU 279 GB、8 TB/s；若計入 Grace 的 17 TB LPDDR5X，高速記憶體共 37 TB。
每個機櫃的運算效能
密集 FP4 為 1,080 PFLOPS（稀疏 1,440 PFLOPS），稀疏 FP8 為 720 PFLOPS；每顆 GPU 的功耗可設定，最高 1,400 W。
橫向擴充網路
NVIDIA ConnectX-8 SuperNIC 為每顆 GPU 提供 800 Gb/s 的網路連線，用於機櫃外的流量。
與 HGX B300 一樣，GB300 NVL72 是為 AI 數值格式而設計：NVIDIA 標定整個機櫃的 FP64 為 100 TFLOPS。
交付時的配置
GB300 NVL72 以完整機櫃出租，依您的需求配置，並在您的提案書中確認。NVIDIA 將其設計為全液冷系統，因此我們只會將它部署在具備晶片直接液冷、且符合我們資料中心要求的機房：合約明訂每個機櫃的最大 kW 數、每個機櫃都有 A/B 雙路供電路徑，以及電力與散熱可同時維護。
NVIDIA 並未公布 GB300 NVL72 的機櫃功耗數值，因此會在部署前針對所選系統確認。我們的資料中心頁面說明我們如何選擇機房。
預訂流程
GB300 NVL72 需提前預訂：您在部署前預訂機櫃。我們不公布交付日期；您的機櫃時程會以書面約定。
申請與提案書
請告訴我們您需要多少個機櫃，以及何時需要。我們的書面提案書會列明配置、價格與交付時程。
開戶與合約
實際使用機櫃的公司須填寫三份開戶表單，再簽署 36、48 或 60 個月的合約並支付預付款。此規模的配置量可能需要付款擔保，例如銀行保證函或信用狀。
燒機測試與交付
每個機櫃在交付前都會完成燒機測試，您會收到載有測試結果的驗收報告。整個合約期內以單一固定費率按月計費，且不收取資料傳出費用。
合約期越長，費率越低。我們的採購方式頁面詳細說明各項表單與付款結構。
工作負載與替代方案
GB300 NVL72 適合推理模型與混合專家模型的機櫃級推論，以及模型平行化跨越超過一台 8-GPU 伺服器的訓練。我們的 AI 訓練與 AI 推論頁面介紹相關的周邊基礎架構。基礎模型訓練的瓶頸說明模型一旦分割，為何互連就成為限制；8 x 270 GB：B300 節點能容納哪些模型則說明單顆 GPU 的極限所在。
若您需要更早取得容量，HGX B300 已開放預訂，可組成 64 至 288 個節點、使用專屬叢集網路的叢集，詳見我們的 GPU 叢集頁面。關於 Blackwell Ultra 之後的世代，請參閱 NVIDIA Vera Rubin，同樣需提前預訂。
買方常見問題
GB300 NVL72 的「需提前預訂」是什麼意思？
您在部署前預訂機櫃。交付時程會在您的提案書與合約中約定；我們不公布日期。
我們可以只租用 GB300 NVL72 機櫃的一部分嗎？
不可以。GB300 NVL72 以整個機櫃出租，包含 72 顆 GPU 與 36 顆 Grace CPU，NVLink 網域專屬於您。
GB300 NVL72 需要什麼樣的散熱？
NVIDIA 將其設計為全液冷機櫃。我們只會將它部署在具備晶片直接液冷、且符合我們資料中心要求的機房。
GB300 NVL72 與 HGX B300 有何不同？
兩者都採用 Blackwell Ultra GPU。GB300 NVL72 將 72 顆 GPU 與 Grace CPU 結合在單一液冷 NVLink 網域中；HGX B300 則在每台氣冷式伺服器中連接 8 顆 GPU，並透過每顆 GPU 800 Gb/s 的叢集網路橫向擴充。
適用哪些合約期？
36、48 或 60 個月，合約期越長，費率越低。您在簽約時支付預付款，之後在整個合約期內支付單一固定月費，且不收取資料傳出費用。