1Legion GPU 叢集是一套專屬於單一客戶的完整 NVIDIA HGX B300 系統，包括 GPU 伺服器、CPU 節點、控制平面、儲存、無阻塞的東西向網路、南北向網路與網際網路邊緣。我們依公開的交付規格書建置叢集，以 NVIDIA 的硬體驗證測試進行燒機測試，並在 36 至 60 個月的整個合約期內負責維運。
專屬 AI 叢集包含哪些部分
從 GPU 到南北向網路，叢集的每一層都只服務單一客戶，而且每一層都會在您簽約前以書面規格明訂。
| 節點 | 角色 | 規格 |
|---|---|---|
| GPU 節點 | 執行您的訓練與推論 | NVIDIA HGX B300，8 顆 GPU，每顆配備 270 GB HBM3e；至少 128 個 vCPU；系統記憶體建議 3 TB，至少 1.92 TB；本機 NVMe 原始容量至少 9.2 TB；每顆 GPU 800 Gb/s，採用 NVIDIA ConnectX-8（建議採用）；NVIDIA BlueField-3 前端 2 x 400 Gb/s（建議採用）；依 OEM 建議採用氣冷 |
| CPU 節點 | 執行 GPU 周邊的服務：模型服務、路由與批次作業 | x86，至少 128 個 vCPU，基礎時脈高於 3 GHz，建議採用 AMD EPYC 9565 或 9575F；每個執行緒 4 GB 記憶體；BlueField-3 前端 |
| 控制平面節點 | 叢集的控制平面 | 32 個 vCPU，時脈高於 3.65 GHz，建議採用 AMD EPYC 9175F；128 GB 記憶體；每 2,304 顆 GPU 配置六個節點，分布在兩個機櫃 |
CPU 節點依 GPU 數量配置：叢集中每顆 GPU 對應至少 6 個硬體執行緒與 24 GB 記憶體。AI 模型實驗室適用的 B300 說明了持續訓練對每一層的要求。
HGX B300 叢集參考配置
三種參考規模明確規定，在特定數量的 GPU 節點下，應搭配多少 CPU 節點、控制平面節點、儲存容量，以及多少 MW 的電力。
| 項目 | 64 個節點 | 128 個節點 | 288 個節點 |
|---|---|---|---|
| GPU 節點（每個 8 顆 GPU） | 64 | 128 | 288 |
| GPU 數量 | 512 | 1,024 | 2,304 |
| CPU 節點 | 24 | 48 | 108 |
| 控制平面節點 | 6 | 6 | 6 |
| 儲存：儲存設備方案（可用容量） | 512 TB | 1,024 TB | 2,304 TB |
| 儲存：儲存節點方案 | 9 個節點 | 17 個節點 | 38 個節點 |
| 預估 IT 負載 | 約 0.98 MW | 約 1.95 MW | 約 4.39 MW |
這些比例在每種規模下都相同。搭配 24、48 與 108 個各具 128 個 vCPU 的 CPU 節點，每顆 GPU 可分配到 6 個硬體執行緒。儲存設備為每顆 GPU 提供至少 1 TB 可用容量。六個控制平面節點即可涵蓋全部三種規模，因為規格書規定每 2,304 顆 GPU 配置六個。三種規模的 HBM3e 總量分別約為 138 TB、276 TB 與 622 TB，IT 負載分別在 1 MW、2 MW 與 4.4 MW 以內。
設計可擴充至更大規模
參考規模最大為 288 個節點，但設計不止於此。規格書以每顆 GPU 為單位配置每一層：800 Gb/s 的叢集網路頻寬、6 個 CPU 執行緒與 24 GB CPU 記憶體，以及 1 TB 可用儲存容量。更大的叢集維持相同比例，您的提案書會列明設計、場址與電力。HGX B300 叢集目前在多倫多運作，美國德拉瓦州的容量也即將上線。
東西向網路：乙太網路或 InfiniBand
每顆 GPU 都有自己專用的 800 Gb/s 連線，接入軌道最佳化、完全無阻塞的叢集網路，這個網路只承載您的流量。
- 頻寬：每顆 GPU 1 x 800 Gb/s 或 2 x 400 Gb/s 網路平面，每台伺服器 6.4 Tb/s，建議採用 NVIDIA ConnectX-8 網路卡。
- 軌道最佳化：每台伺服器中 GPU 1 的網路卡連接到軌道 1，GPU 2 連接到軌道 2，依此類推。
- 無阻塞：叢集網路沒有超額訂閱，因此每顆 GPU 都能同時以全速傳送。
- 交換器：建議採用 NVIDIA Spectrum-X 或 Broadcom Tomahawk 6；亦接受 NVIDIA Quantum InfiniBand 或 Tomahawk 5。
- 交付前測試：以 nccl-tests 測試 NCCL 輸送量，在支援時啟用 SHARP（HW-1）；並以 ib_write_bw 測試每一條 InfiniBand 或 RoCE 軌道（HW-2）。
基礎模型訓練的瓶頸說明為何互連與記憶體頻寬比 GPU 數量更能決定訓練輸送量。
儲存、南北向網路與邊緣網路
儲存與叢集網路周邊的各個網路，都以每顆 GPU 與每個節點為單位制定規格，並與 GPU 寫在同一份文件中。
- 儲存方案 A：由 VAST Data、WEKA 或 DDN 原廠代管的儲存設備，每顆 GPU 至少 1 TB 可用容量，提供 24/7 原廠升級處理，並承諾各層級的輸送量與延遲。
- 儲存方案 B：供您執行自有儲存軟體的儲存節點，採用 30.72 TB NVMe PCIe 5.0 硬碟，每顆 GPU 至少 3 TB 原始容量，最低 9 個節點。
- 南北向網路：每個節點建議 400 Gb/s，最低 200 Gb/s；儲存葉交換器不超額訂閱，GPU 葉交換器低於 4:1；RoCEv2 與 MTU 9000。
- 邊緣網路：兩家獨立的 IP Transit 供應商，每條線路 100 Gb/s；eBGP 搭配 BFD；DDoS 流量清洗可在 5 分鐘內透過 BGP 啟動。
關於 NAT、公用位址、您自有的 IP 位址空間與 ASN，以及流量遙測，請參閱儲存與網路。
GPU 叢集的電力規劃
每個 GPU 節點以約 14 kW 規劃：加上 CPU 節點、控制平面、儲存節點與網路後，64 節點叢集約需 0.98 MW 的 IT 負載。
| 64 節點叢集 | 數量 | 規劃值 | 負載 |
|---|---|---|---|
| GPU 節點 | 64 | 每個約 14 kW | 896 kW |
| CPU 節點 | 24 | 每個 1.0 kW | 24 kW |
| 控制平面節點 | 6 | 每個 0.5 kW | 3 kW |
| 儲存節點（方案 B） | 9 | 每個 1.3 kW | 11.7 kW |
| 網路 | GPU 負載的 5% | 44.8 kW | |
| 總計 | 約 0.98 MW |
以相同方法計算，128 個節點約需 1.95 MW，288 個節點則約需 4.39 MW。14 kW 是針對氣冷式 HGX B300 節點的規劃假設值；NVIDIA 公布其 DGX B300 系統約為 14 kW。機房必須在合約中承諾每個機櫃的最大 kW 數，這個數字決定一個機櫃可放置多少個 GPU 節點。資料中心列出我們對場址的其他要求。
叢集如何交付
叢集從提案到正式上線分為五個步驟，驗收報告則是建置與維運之間的分界。
提案書
我們依交付規格書提供書面提案書。每個項目都標示為「必要」或「建議採用」，您需要的任何變更都會列為編號的偏差項目。
合約與開戶
實際使用叢集的公司須填寫三份開戶表單、簽署租賃合約並支付預付款。配置量較大時，可能需要銀行保證函或信用狀。
建置
我們將伺服器上架，建置叢集網路、南北向網路與邊緣網路，並將每個機櫃、節點、GPU、網路卡、硬碟、交換器、連接埠、光收發模組與線纜記錄在資產清冊中。
燒機測試
叢集通過 NVIDIA 的硬體驗證測試 HW-1 至 HW-5：NCCL 輸送量、叢集網路的每一條軌道、GPUDirect RDMA 與儲存、NVLink 與 NVSwitch，以及在持續功率上限下進行的 24 小時持續負載測試。
交付與維運
您會收到附有所有結果的驗收報告。之後我們依維運承諾維運叢集，並提供共用 Slack 頻道與指定的技術客戶負責人。
燒機與驗收說明每項測試，以及節點未通過測試時的處理方式。
買方常見問題
叢集網路採用 InfiniBand 還是乙太網路？
我們的交付規格書建議採用以 NVIDIA Spectrum-X 或 Broadcom Tomahawk 6 建置的乙太網路，也接受 NVIDIA Quantum InfiniBand 或 Tomahawk 5。無論採用哪一種，叢集網路都採軌道最佳化設計、完全無阻塞，每顆 GPU 800 Gb/s。
叢集是否與其他客戶共用？
不共用。GPU 伺服器、東西向網路與南北向網路都專屬於單一客戶。
GPU 叢集需要多少電力？
以每個 GPU 節點約 14 kW 規劃，64 個節點約需 0.98 MW 的 IT 負載，128 個節點約需 1.95 MW，288 個節點約需 4.39 MW。
GPU 節點採用氣冷還是液冷？
HGX B300 節點採用氣冷，這是 OEM 針對叢集規模部署的建議。GB300 NVL72 採用液冷，需提前預訂。
我們可以查看燒機測試結果嗎？
可以。每個叢集在交付前都會通過 NVIDIA 的硬體驗證測試 HW-1 至 HW-5，測試結果會以驗收報告的形式交給您。請參閱燒機與驗收。
叢集可以超過 288 個節點嗎？
可以。規格書以每顆 GPU 為單位配置每一層，因此更大的叢集會維持相同比例。您的提案書會列明設計、場址與電力。