1Legion 的 AI 訓練 GPU 叢集，由多台整台 NVIDIA HGX B300 伺服器組成，透過只承載您流量的東西向叢集網路連接，出租給單一客戶，合約期 36、48 或 60 個月。我們依公開的交付規格書建置每個叢集，並在交付前完成燒機測試，因此長達數週的訓練作業，從第一個步驟起就在已通過 24 小時持續負載測試的節點上執行。
LLM 訓練基礎架構必須承受的條件
持續數週的訓練作業需要：足以容納最佳化器狀態的記憶體、沒有慢速連結的叢集網路、快速的檢查點儲存，以及在作業執行期間不會變動的環境。
容納最佳化器狀態的記憶體
使用 Adam 最佳化器進行混合精度訓練時，權重、梯度與最佳化器狀態每個參數約佔 16 個位元組。以 70B 參數模型而言，未計入活化值前約為 1.1 TB，可放入一台 HGX B300 伺服器的 2.1 TB HBM3e 中。
沒有慢速連結的叢集網路
分片與資料平行訓練在每個步驟都要跨所有 GPU 同步梯度，因此一條壅塞的連結就會拖慢整個叢集。我們的 HGX B300 叢集網路完全無阻塞，每顆 GPU 800 Gb/s。
檢查點輸送量
一個 70B 參數模型的檢查點包含 FP32 主權重與 Adam 狀態，約 840 GB，而同步儲存會讓每顆 GPU 等待寫入完成。儲存容量依 GPU 數量配置，檢查點傳出叢集也不收取資料傳出費用。
保持穩定不變的環境
沒有其他租戶與您共用伺服器或叢集網路。我們這一端的變更遵循書面變更管理，高風險維護至少提前 7 天通知。
我們關於訓練瓶頸的文章說明了為什麼決定訓練輸送量的是記憶體與互連，而不是 GPU 數量。
哪些伺服器適合訓練工作負載
HGX B300 是我們的主力訓練平台，HGX B200 也已開放預訂，GB300 NVL72 與 Vera Rubin 則需提前預訂。
- 每顆 GPU 的記憶體
- 270 GB HBM3e
- 每台伺服器的 GPU 數
- 8
- 每顆 GPU 的記憶體
- 180 GB HBM3e
- 每台伺服器的 GPU 數
- 8
- 每顆 GPU 的記憶體
- 279 GB HBM3e
- 每個機櫃的 GPU 數
- 72
- 每顆 GPU 的記憶體
- 288 GB HBM4
- 每台伺服器的 GPU 數
- 8
| 8-GPU 伺服器 | HGX B300 | HGX B200 |
|---|---|---|
| 每台伺服器的 GPU 記憶體 | 2.1 TB HBM3e | 1,440 GB HBM3e |
| 每顆 GPU 的記憶體頻寬 | 7.7 TB/s | 7.7 TB/s |
| NVLink | 每顆 GPU 1.8 TB/s，總計 14.4 TB/s | 每顆 GPU 1.8 TB/s，總計 14.4 TB/s |
| 每台伺服器 FP4 Tensor 效能（稀疏與密集） | 144 與 108 PFLOPS | 144 與 72 PFLOPS |
| 每台伺服器 FP8 Tensor 效能（稀疏） | 72 PFLOPS | 72 PFLOPS |
| 每台伺服器的 FP64 效能 | 10 TFLOPS | 296 TFLOPS |
當每顆 GPU 的記憶體決定您的分片方式時，請選擇 HGX B300：270 GB 可在單顆 GPU 上容納 70B 參數模型 140 GB 的 BF16 權重，還剩 130 GB。當您的工作同時包含訓練與 FP64 模擬時，請選擇 HGX B200。GB300 NVL72 將 72 顆 Blackwell Ultra GPU 與 36 顆 Grace CPU 整合在同一個液冷 NVLink 網域中，具備 20 TB 的 HBM3e 與 130 TB/s 的 NVLink 頻寬。Vera Rubin 是我們已下單的下一代 NVIDIA 平台，每顆 GPU 配備 288 GB 的 HBM4，並採用第六代 NVLink。
專屬的無阻塞叢集網路
每個 HGX B300 叢集都有自己的東西向叢集網路，採軌道最佳化設計且完全無阻塞，每顆 GPU 800 Gb/s。
- 頻寬：每顆 GPU 採 1 x 800 或 2 x 400 Gb/s 網路平面，每台伺服器 6.4 Tb/s，建議採用 NVIDIA ConnectX-8。
- 交換器：建議採用 NVIDIA Spectrum-X 或 Broadcom Tomahawk 6，亦接受 NVIDIA Quantum InfiniBand 或 Tomahawk 5。
- 伺服器內部：第五代 NVLink，每顆 GPU 1.8 TB/s。
- 儲存與服務：獨立的南北向網路，建議每個節點 400 Gb/s，支援 RoCEv2，MTU 9000，儲存葉交換器不超額訂閱。
叢集有三種參考規模，更大的叢集也採用相同設計。
| 項目 | 64 個節點 | 128 個節點 | 288 個節點 |
|---|---|---|---|
| GPU 節點（每個 8 顆 GPU） | 64 | 128 | 288 |
| GPU 數量 | 512 | 1,024 | 2,304 |
| CPU 節點 | 24 | 48 | 108 |
| 控制平面節點 | 6 | 6 | 6 |
| 儲存：儲存設備方案（可用容量） | 512 TB | 1,024 TB | 2,304 TB |
| 儲存：儲存節點方案 | 9 個節點 | 17 個節點 | 38 個節點 |
| 預估 IT 負載 | 約 0.98 MW | 約 1.95 MW | 約 4.39 MW |
每種規模都包含用於服務、路由與批次作業的 CPU 節點，叢集中每顆 GPU 對應至少 6 個硬體執行緒與 24 GB 記憶體，另有六個控制平面節點分布於兩個機櫃。我們的 GPU 叢集頁面說明了以每個 GPU 節點約 14 kW 進行的電力規劃。
檢查點與資料集儲存
儲存有兩種選項，皆依 GPU 數量配置；此外，每個 GPU 節點另有至少 9.2 TB 的原始本機 NVMe 容量，用於資料集分片與檢查點暫存。
方案 A：代管儲存設備
依您的偏好選擇 VAST Data、WEKA 或 DDN 儲存設備，每顆 GPU 至少 1 TB 可用容量（64 節點叢集為 512 TB），每個層級都有承諾的輸送量與延遲、可查看的用量與配額、經過測試的復原機制，以及 24/7 原廠升級處理。
方案 B：供您自有軟體使用的儲存節點
儲存節點採用 30.72 TB 的 NVMe PCIe 5.0 硬碟，每顆 GPU 至少 3 TB 原始容量，最低 9 個節點，並支援自我加密硬碟。兩種選項的說明請見儲存與網路。
訓練作業期間的故障處理方式
當硬體在作業執行途中故障時，我們會將該節點移出服務，並進行維修或更換，讓您的作業能在健康的節點上重新啟動。
- 致命性 GPU 故障（XID 79、XID 48、雙位元 ECC 錯誤與列重新對應失敗）會讓節點立即進入隔離狀態。
- 重複發生的 XID 13 與 XID 31 錯誤，會在達到與您約定的次數後進行處理。
- NCCL 停滯會與叢集網路事件進行關聯分析，讓停擺的作業能對應到背後的連結。
- 疑似發生靜默資料損毀的節點會持續隔離。
- NVMe 硬碟會在達到耐用度上限前更換。
維運遙測資料至少保留 30 天，事件與狀態歷史紀錄至少保留 12 個月。完整清單請見我們的維運承諾，我們關於長時間訓練作業為何在共用雲端上失敗的文章則說明了各種失敗模式。
以燒機測試取代試用
每個叢集在交付前都會通過 NVIDIA 的硬體驗證測試 HW-1 至 HW-5，結果會記錄於您的驗收報告中。
- HW-1
集合通訊輸送量
以 nccl-tests 確認 NCCL 輸送量達到基準值；若叢集網路支援，則搭配 SHARP 加速的集合通訊。
nccl-tests - HW-2
每條網路軌道
以 ib_write_bw 測試每條 InfiniBand 或 RoCE 軌道。
ib_write_bw - HW-3
GPUDirect 與儲存
GPUDirect RDMA 與儲存的冒煙測試，包含 NVMe 讀取與寫入。
GPUDirect RDMA, NVMe - HW-4
NVLink 與 NVSwitch
以 nvbandwidth 檢查 NVLink 與 NVSwitch 的連結數量與頻寬。
nvbandwidth - HW-5
24 小時持續負載測試
在持續維持的功率上限下，以具代表性的推論負載進行 24 小時持續負載測試。
功率上限下的推論負載
我們不提供試用、概念驗證或短期租用。驗收報告會呈現 NCCL 輸送量、每一條 InfiniBand 或 RoCE 軌道、NVLink 與 NVSwitch 連結，以及 24 小時持續負載測試的結果，全部都在您將用於訓練的節點上量測。請參閱燒機與驗收的運作方式。
以 36 至 60 個月的合約期租用模型訓練 GPU
訓練叢集以整台伺服器出租，合約期 36、48 或 60 個月，採單一固定月費，合約期越長，費率越低。
申請報價
請告訴我們模型大小、伺服器數量、合約期、場址，以及您何時需要。
提案書
我們會寄送以交付規格書為基準的書面提案書，您需要的每項變更都會列為編號的偏差項目。
開戶與合約
實際使用伺服器的公司須填寫我們的三份開戶表單、簽署租賃合約並支付預付款。
建置、燒機測試與交付
我們在多倫多建置叢集並完成燒機測試，德拉瓦州場址上線後也可在該處進行，接著連同驗收報告、共用 Slack 頻道與指定的技術客戶負責人一起交付。
餘額在合約期內按月計費，不收取資料傳出費用；租用規模較大時，可能需要銀行保證函或信用狀。如果您希望由我們維運平台層，我們會安裝並維運搭配 NVIDIA GPU Operator 與 Network Operator 的代管 Kubernetes，或代管 Slurm。我們關於在專屬 B300 上進行持續訓練的文章，說明了實驗室如何圍繞固定合約期規劃訓練專案。
買方常見問題
1Legion 出租的最小訓練叢集是多大？
我們出租整台伺服器，因此最小單位是一台 8-GPU HGX B300 伺服器，合約期 36 個月。我們的參考叢集為 64、128 與 288 個節點，皆位於同一個專屬叢集網路上，更大的叢集也採用相同設計。
我們可以在簽約前測試叢集嗎？
我們不提供試用或概念驗證。每個叢集在交付前都會通過 NVIDIA 的 HW-1 至 HW-5 硬體驗證測試，您會在驗收報告中收到測試結果。請參閱燒機與驗收。
1Legion 建置的訓練叢集網路是 InfiniBand 還是乙太網路？
我們的交付規格書建議採用 NVIDIA Spectrum-X 或 Broadcom Tomahawk 6，亦接受 NVIDIA Quantum InfiniBand 或 Tomahawk 5。無論採用哪一種，叢集網路都採軌道最佳化設計、完全無阻塞、每顆 GPU 800 Gb/s，且專屬於您。
檢查點應該選擇哪種儲存？
方案 A 是 VAST Data、WEKA 或 DDN 儲存設備，每顆 GPU 至少 1 TB 可用容量，並提供 24/7 原廠升級處理。方案 B 是儲存節點，每顆 GPU 至少 3 TB 原始容量，供您自行執行的儲存軟體使用。
作業執行期間 GPU 故障時會怎麼處理？
XID 79 或雙位元 ECC 錯誤等致命性故障會讓節點立即進入隔離狀態，我們會在節點重新加入您的叢集之前進行維修或更換。15 分鐘內即會指派事件指揮官。
1Legion 是否為訓練叢集提供一年或兩年的合約期？
不提供。GPU 伺服器的合約期為 36、48 或 60 個月，合約期越長，費率越低。