規格
| GPU | |
|---|---|
| 平台 | NVIDIA HGX B200，8 顆 SXM GPU 位於同一塊基板上 |
| 架構 | NVIDIA Blackwell |
| 每顆 GPU 的記憶體 | 180 GB HBM3e |
| 每台伺服器的 GPU 記憶體 | 1,440 GB HBM3e（8 x 180 GB） |
| 每顆 GPU 的記憶體頻寬 | 7.7 TB/s |
| FP4 Tensor，8 顆 GPU | 稀疏 144 PFLOPS，密集 72 PFLOPS |
| FP8 與 FP6 Tensor，8 顆 GPU | 稀疏 72 PFLOPS |
| INT8 Tensor，8 顆 GPU | 稀疏 72 POPS |
| FP16 與 BF16 Tensor，8 顆 GPU | 稀疏 36 PFLOPS |
| TF32 Tensor，8 顆 GPU | 稀疏 18 PFLOPS |
| FP32，8 顆 GPU | 600 TFLOPS |
| FP64，8 顆 GPU | 296 TFLOPS（每顆 GPU 37 TFLOPS） |
| NVLink | 第五代，每顆 GPU 1.8 TB/s，每台伺服器 14.4 TB/s |
| PCIe | Gen5，128 GB/s |
| 每顆 GPU 功耗 | 可設定，最高 1,000 W |
| Multi-Instance GPU | 最多 7 個執行個體，1g.23gb 至 7g.180gb |
| 交付時的伺服器配置 | |
|---|---|
| 每台伺服器的 GPU 數 | 8 |
| CPU、系統記憶體與儲存 | 依您的需求配置，並在您的提案書中確認 |
| 散熱 | 依伺服器型號而定，並在您的提案書中確認 |
| 參考系統功耗 | 最高約 14.3 kW（NVIDIA DGX B200） |
| 網路 | |
|---|---|
| NVIDIA 參考設計 | DGX B200：8 張單埠 ConnectX-7 網路卡，最高 400 Gb/s InfiniBand 或乙太網路 |
| 後端與前端網路 | 依您的叢集設計配置，並在您的提案書中確認 |
典型工作負載
- 每顆 GPU 180 GB 可容納之模型的訓練與微調
- 以 FP4、FP8 與 INT8 進行推論
- 除 AI 之外也需要 FP64 的科學運算與模擬
以整台 8-GPU 節點或專屬叢集的形式租用 NVIDIA HGX B200 伺服器。HGX B200 已開放預訂，合約期 36、48 或 60 個月，所有價格均載於書面提案書中。
HGX B200 適合哪些團隊
HGX B200 適合想以 Blackwell 進行訓練與推論、同時仍需執行雙精度運算的團隊。每顆 GPU 配備 180 GB HBM3e，每台伺服器 1,440 GB，因此以 FP8 執行的 70B 參數模型（權重約 70 GB）可放入單顆 GPU，並留下約 110 GB 供 KV 快取與批次處理使用。
同時執行模擬與模型訓練的研究團隊與 AI 團隊，可在同一平台上兼顧兩者。需要每顆 GPU 記憶體最大的團隊，應將它與每顆 GPU 配備 270 GB 的 HGX B300 進行比較。
它的優勢
AI 之外兼顧 FP64
NVIDIA 標定每顆 GPU 的 FP64 為 37 TFLOPS，每台伺服器 296 TFLOPS，約為 HGX B300 基板 10 TFLOPS 的 30 倍。
Blackwell 數值格式
每台伺服器稀疏 FP4 為 144 PFLOPS（密集 72 PFLOPS），稀疏 FP8 為 72 PFLOPS，稀疏 INT8 為 72 POPS。
伺服器內的 NVLink
第五代 NVLink 為每顆 GPU 提供連至其他七顆 GPU 的 1.8 TB/s 頻寬，整塊基板總計 14.4 TB/s。
以 MIG 分割
每顆 GPU 最多可分割為七個執行個體，從 1g.23gb 設定檔到完整的 7g.180gb，讓多個作業可以共用一台伺服器。
NVIDIA 的 Blackwell 規格表列出每顆 GPU 的記憶體頻寬為 7.7 TB/s。每顆 GPU 的功耗最高可設定為 1,000 W；NVIDIA 標定其 DGX B200 系統約為 14.3 kW，可作為機房規劃的參考數字。
交付時的配置
HGX B200 伺服器依您的需求配置，並在您的提案書中確認，包括 CPU、系統記憶體、本機 NVMe、網路卡與散熱。NVIDIA 的 DGX B200 參考設計為每顆 GPU 配置一張最高 400 Gb/s 的 ConnectX-7 網路卡，我們則依您規劃的叢集配置後端網路。每台伺服器在交付前都會完成燒機測試，您會收到載有測試結果的驗收報告，詳見我們的燒機與驗收頁面。
HGX B200 叢集方案
您可以租用單台 HGX B200 伺服器，或租用在專屬於您的單一叢集網路上運作的叢集。叢集從東西向網路到 CPU 節點與儲存，都會與您共同設計，並列明於您的提案書中。
我們公開的 HGX B300 參考設計說明了這種做法：不與其他客戶共用、採軌道最佳化且完全無阻塞的叢集網路，執行 GPU 周邊服務的 CPU 節點，以及依每顆 GPU 配置的儲存。我們的專屬 GPU 叢集頁面介紹叢集如何建置與交付；若您希望由我們代為維運，代管 Kubernetes 頁面則介紹編排管理。
租用方式
工作負載與替代方案
HGX B200 適合每顆 GPU 不超過 180 GB 的訓練與微調、以 FP4、FP8 或 INT8 進行的推論，以及除 AI 之外也需要 FP64 的科學運算。我們的 AI 訓練頁面介紹訓練路線圖所需的儲存、故障處理與合約期。若想了解容量規劃背後的考量，請閱讀基礎模型訓練的瓶頸與長時間訓練作業為何在共用雲端上失敗。
若每顆 GPU 的記憶體是限制因素，HGX B300 提供每顆 GPU 270 GB，每台伺服器密集 FP4 達 108 PFLOPS。若您的程式碼針對 Ampere 調校，A100 80GB 可依需求提供。
買方常見問題
HGX B200 或 HGX B300：我們該租用哪一款？
若需要每顆 GPU 最大的記憶體（270 GB）與最高的密集 FP4 輸送量，請選擇 HGX B300。若您的模型可放入每顆 GPU 180 GB，或您需要 FP64（NVIDIA 標定為每台伺服器 296 TFLOPS，而 HGX B300 為 10 TFLOPS），請選擇 HGX B200。
HGX B200 每顆 GPU 的記憶體是 180 GB 還是 192 GB？
依 NVIDIA 的 HGX B200 文件，每顆 GPU 為 180 GB HBM3e，每台伺服器 1,440 GB。外界流傳的 192 GB 是 NVIDIA 針對 Blackwell 架構的最大值，並非 HGX B200 的配置。
我們可以租用 HGX B200 叢集，而不只是單台伺服器嗎？
可以。B200 叢集在專屬於您的叢集網路上運作，從叢集網路到儲存的設計都會列明於您的提案書中。請參閱專屬 GPU 叢集。
我們可以在簽約前測試 HGX B200 伺服器嗎？
我們不提供試用或概念驗證。每台伺服器在交付前都會完成燒機測試，您會收到載有測試結果的驗收報告。
有哪些合約期可選擇？
36、48 或 60 個月，合約期越長，費率越低。您在簽約時支付預付款，之後在整個合約期內支付單一固定月費，且不收取資料傳出費用。