HGX B300 伺服器內部
逐一介紹您租用的每個部分。
-
一台伺服器，一位客戶
機箱內的 GPU、CPU、記憶體、硬碟與網路連接埠，在整個合約期內都只屬於一位客戶。其中沒有任何部分與他人共用。
-
八顆 Blackwell Ultra GPU
同一塊基板上有八顆 SXM GPU，每顆配備 270 GB HBM3e，頻寬 7.7 TB/s。單台伺服器即有 2.1 TB 的 GPU 記憶體。
-
單一 NVLink 網域
第五代 NVLink 連接全部八顆 GPU，每顆 GPU 1.8 TB/s，整台伺服器 14.4 TB/s，讓模型可以橫跨整塊基板。
-
每顆 GPU 800 Gb/s
每顆 GPU 都有自己專用的 800 Gb/s 連接埠連至叢集網路，建議採用 NVIDIA ConnectX-8；叢集網路採軌道最佳化設計，不與其他客戶共用。
-
硬碟與氣冷
機箱前端配置至少 9.2 TB 原始容量的 NVMe 資料硬碟，機箱為氣冷式，依我們的交付規格書建置。
規格
| GPU | |
|---|---|
| 平台 | NVIDIA HGX B300，8 顆 SXM GPU 位於同一塊基板上 |
| 架構 | NVIDIA Blackwell Ultra |
| 每顆 GPU 的記憶體 | 270 GB HBM3e（NVIDIA HGX B300 規格） |
| 每台伺服器的 GPU 記憶體 | 2.1 TB HBM3e（8 x 270 GB，依 NVIDIA 公布的規格） |
| 每顆 GPU 的記憶體頻寬 | 7.7 TB/s |
| FP4 Tensor，8 顆 GPU | 稀疏 144 PFLOPS，密集 108 PFLOPS |
| FP8 與 FP6 Tensor，8 顆 GPU | 稀疏 72 PFLOPS |
| FP16 與 BF16 Tensor，8 顆 GPU | 稀疏 36 PFLOPS |
| TF32 Tensor，8 顆 GPU | 稀疏 18 PFLOPS |
| FP32，8 顆 GPU | 600 TFLOPS |
| FP64，8 顆 GPU | 10 TFLOPS |
| NVLink | 第五代，每顆 GPU 1.8 TB/s，每台伺服器 14.4 TB/s |
| PCIe | Gen6，256 GB/s |
| 每顆 GPU 功耗 | 可設定，最高 1,100 W |
| Multi-Instance GPU | 每顆 GPU 最多 7 個執行個體 |
| 交付時的伺服器配置 | |
|---|---|
| CPU | 至少 128 個 vCPU |
| 系統記憶體 | 建議 3 TB，至少 1.92 TB（每顆 GPU 240 GB） |
| 開機儲存 | 2 x 1 TB NVMe，鏡像配置（建議採用） |
| 本機資料儲存 | 至少 9.2 TB 原始容量 NVMe |
| 散熱 | 氣冷 |
| 電力規劃 | 每台伺服器約 14 kW（規劃假設值） |
| 網路 | |
|---|---|
| 後端網路 | 每顆 GPU 800 Gb/s（1 x 800、2 x 400 或 4 x 200 Gb/s），建議採用 NVIDIA ConnectX-8 |
| 前端網路 | NVIDIA BlueField-3，建議 2 x 400 Gb/s，最低 2 x 200 Gb/s |
| 東西向叢集網路 | 軌道最佳化、完全無阻塞，專屬於單一客戶 |
| 叢集網路交換器 | 建議採用 NVIDIA Spectrum-X 或 Broadcom Tomahawk 6；亦接受 NVIDIA Quantum InfiniBand 或 Tomahawk 5 |
| 南北向網路 | 每個節點建議 400 Gb/s，最低 200 Gb/s，RoCEv2，MTU 9000 |
典型工作負載
- 大型模型的預訓練與後訓練
- 叢集規模的強化學習與微調
- 長上下文推理模型與混合專家模型的推論
以整台 8-GPU 節點或叢集的形式租用 NVIDIA HGX B300 伺服器，叢集網路不與其他客戶共用。每台伺服器都依我們公開的交付規格書建置，交付前完成燒機測試，並以 36、48 或 60 個月的合約、單一固定月費出租。
HGX B300 適合哪些團隊
HGX B300 適合模型規模已超出每顆 GPU 80 至 180 GB 的團隊。每顆 GPU 配備 270 GB HBM3e，每台伺服器 2.1 TB，因此以 FP8 執行的 70B 參數模型（權重約 70 GB）在單顆 GPU 上仍可留下約 200 GB 供 KV 快取與批次處理使用。
AI 實驗室租用它進行持續數週的預訓練與後訓練。推論團隊租用它來提供長上下文推理模型與混合專家模型的推論服務。它是 1Legion 容量的主力產品線，也是我們 HGX B300 交付規格書所針對的伺服器。
它的優勢
HGX B300 的差異在於每顆 GPU 的記憶體與頻寬。
NVIDIA 標定每顆 GPU 的記憶體頻寬為 7.7 TB/s，這是大型模型解碼速度的上限。8-GPU 基板提供 108 PFLOPS 的密集 FP4 效能（稀疏 144 PFLOPS），HGX B200 則為密集 72 PFLOPS；稀疏 FP8 為 72 PFLOPS。第五代 NVLink 為每顆 GPU 提供連至其他七顆 GPU 的 1.8 TB/s 頻寬，整台伺服器 14.4 TB/s；每顆 GPU 也都有自己專用的 800 Gb/s 連接埠連至叢集網路。
代價是雙精度效能。NVIDIA 標定此基板的 FP64 為 10 TFLOPS，因此 HGX B300 是為 AI 數值格式設計的伺服器，並不適合 FP64 模擬。
交付時的配置
此配置來自我們的交付規格書 1LG-DEL-SPEC-2026-001。您的提案書所做的任何變更都會列為編號的偏差項目，讓您清楚看到您的伺服器與公開基準的差異。
- CPU 與記憶體：至少 128 個 vCPU；系統記憶體建議 3 TB，每顆 GPU 絕不少於 240 GB（1.92 TB）。
- 本機儲存：建議採用兩顆互為鏡像的 1 TB NVMe 開機硬碟，另加至少 9.2 TB 原始容量的 NVMe 資料硬碟，超過 GPU 記憶體的四倍。
- 網路：後端每顆 GPU 800 Gb/s，建議採用 NVIDIA ConnectX-8；前端採用 NVIDIA BlueField-3，建議 2 x 400 Gb/s，最低 2 x 200 Gb/s。
- 散熱與電力：依 OEM 對叢集規模部署的建議採用氣冷。我們以每台伺服器約 14 kW 規劃電力。
HGX B300 叢集方案
1Legion 叢集專屬於單一客戶，連交換器也不例外。我們的三種參考規模都使用同一款伺服器：
| 項目 | 64 個節點 | 128 個節點 | 288 個節點 |
|---|---|---|---|
| GPU 節點（每個 8 顆 GPU） | 64 | 128 | 288 |
| GPU 數量 | 512 | 1,024 | 2,304 |
| CPU 節點 | 24 | 48 | 108 |
| 控制平面節點 | 6 | 6 | 6 |
| 儲存：儲存設備方案（可用容量） | 512 TB | 1,024 TB | 2,304 TB |
| 儲存：儲存節點方案 | 9 個節點 | 17 個節點 | 38 個節點 |
| 預估 IT 負載 | 約 0.98 MW | 約 1.95 MW | 約 4.39 MW |
東西向網路採軌道最佳化設計，完全無阻塞，每顆 GPU 800 Gb/s，建議採用 NVIDIA Spectrum-X 或 Broadcom Tomahawk 6。CPU 節點執行 GPU 周邊的服務；儲存可選擇由原廠代管、每顆 GPU 至少 1 TB 可用容量的儲存設備，或供您執行自有軟體的儲存節點。我們的專屬 GPU 叢集頁面介紹設計與交付，儲存與網路頁面則介紹邊緣網路、DDoS 防護與您自有的 IP 位址空間。
租用方式
HGX B300 已開放預訂。您租用的是整台伺服器，所有價格都以書面提案書提供。
申請與提案書
請告訴我們您需要多少台伺服器、租用多久、從何時開始。我們會回覆進一步的問題或書面提案書。
開戶與合約
實際使用伺服器的公司須填寫三份開戶表單、簽署 36、48 或 60 個月的合約並支付預付款。合約期越長，費率越低。
建置與燒機測試
我們依交付規格書建置，並執行 NVIDIA 的硬體驗證測試 HW-1 至 HW-5。測試結果會載入您的驗收報告。
維運
整個合約期內以單一固定費率按月計費，且不收取資料傳出費用。您會在共用 Slack 頻道中與我們的工程師合作，並有指定的技術客戶負責人，一切依我們的維運承諾進行。
HGX B300 容量位於多倫多（營運中）與美國德拉瓦州（即將上線）。配置量較大時，可能需要付款擔保，例如銀行保證函或信用狀。我們的採購方式頁面說明每個步驟。
工作負載與替代方案
當每顆 GPU 的記憶體或 GPU 之間的頻寬是您的限制時，請選擇 HGX B300：長時間的預訓練、後訓練與強化學習，以及每顆 GPU 需要超過 180 GB 的模型推論。我們的 AI 訓練與 AI 推論頁面介紹技術堆疊的其他部分，另有兩篇文章詳細試算相關數字：8 x 270 GB：B300 節點能容納哪些模型與 AI 模型實驗室適用的 B300。
若您的工作需要 FP64，或可放入每顆 GPU 180 GB，請考慮 HGX B200。若您需要在單一 NVLink 網域中使用 72 顆 GPU，GB300 NVL72 機櫃需提前預訂。
買方常見問題
我們可以租用多少台 HGX B300 伺服器？
從單台 8-GPU 伺服器到專屬叢集皆可。我們的參考叢集有 64、128 與 288 個節點（512 至 2,304 顆 GPU），設計還可擴充至更大規模。請參閱專屬 GPU 叢集。
我們可以在簽約前測試 HGX B300 伺服器嗎？
我們不提供試用或概念驗證。每個叢集在交付前都會通過 NVIDIA 的硬體驗證測試 HW-1 至 HW-5，您會收到載有測試結果的驗收報告。請參閱燒機與驗收。
HGX B300 伺服器託管在哪裡？
位於加拿大多倫多（營運中）與美國德拉瓦州（即將上線）。您的提案書會指定場址。
有哪些合約期可選擇？
36、48 或 60 個月，合約期越長，費率越低。您在簽約時支付預付款，之後在整個合約期內支付單一固定月費，且不收取資料傳出費用。
HGX B300 適合 FP64 模擬嗎？
不適合。NVIDIA 標定 8-GPU HGX B300 的 FP64 為 10 TFLOPS，而 HGX B200 為 296 TFLOPS。若工作大量使用 FP64，請考慮 HGX B200。
可以代為在叢集上維運 Kubernetes 或 Slurm 嗎？
可以，作為選購服務。我們會安裝、維運、升級並監控搭配 NVIDIA GPU Operator 與 Network Operator 的 Kubernetes，或代管 Slurm；費用另計於租金之外，並列明於您的提案書中。請參閱代管 Kubernetes。