GPU 燒機測試，是我們在您執行任何工作之前，於負載下檢查叢集的方式。每個 1Legion 叢集在交付前，都會通過 NVIDIA 為推論服務供應商制定的硬體驗證（HW-1 至 HW-5 測試），結果會以驗收報告交給您。燒機測試取代了試用：您取得的佐證，來自您實際將使用的硬體。
五項燒機測試
燒機測試包含五項測試，各自針對叢集的不同部分；叢集必須通過全部五項，我們才會交付。
- HW-1
集合通訊輸送量
以 nccl-tests 確認 NCCL 輸送量達到基準值；若叢集網路支援，則搭配 SHARP 加速的集合通訊。
nccl-tests - HW-2
每條網路軌道
以 ib_write_bw 測試每條 InfiniBand 或 RoCE 軌道。
ib_write_bw - HW-3
GPUDirect 與儲存
GPUDirect RDMA 與儲存的冒煙測試，包含 NVMe 讀取與寫入。
GPUDirect RDMA, NVMe - HW-4
NVLink 與 NVSwitch
以 nvbandwidth 檢查 NVLink 與 NVSwitch 的連結數量與頻寬。
nvbandwidth - HW-5
24 小時持續負載測試
在持續維持的功率上限下，以具代表性的推論負載進行 24 小時持續負載測試。
功率上限下的推論負載
這些測試合起來，涵蓋分散式工作負載所依賴的各條路徑：伺服器內 GPU 之間（HW-4）、跨叢集網路的伺服器之間（HW-1 與 HW-2）、進入 GPU 記憶體的網路路徑與儲存路徑（HW-3），以及整個叢集在持續負載下的表現（HW-5）。這些測試屬於我們交付規格書第 15 節的內容。
每項測試證明什麼
每項測試檢查硬體的一個部分；每通過一項，您就能具體確認所用叢集的某個面向。
HW-1：NCCL 輸送量
NCCL 即 NVIDIA Collective Communications Library（NVIDIA 集合通訊函式庫），是 GPU 在分散式訓練與推論期間交換資料所使用的軟體，用於 all-reduce 等運算。HW-1 在整個叢集上執行 NVIDIA 的 NCCL 基準測試工具 nccl-tests，交換器支援時並啟用 SHARP。SHARP 會在交換器內完成每次歸約運算的一部分，因此需要跨網路傳輸的資料更少。
通過測試，代表不同伺服器上的 GPU 能以測試要求的輸送量交換資料。集合通訊輸送量不足時，分散式作業的每個步驟都得等待網路。
HW-2：每條叢集網路軌道
在軌道最佳化的叢集網路中，一條軌道是指一組連結，將每台伺服器中同一位置的 GPU 連接到其專屬的交換器。HW-2 在叢集中的每條 InfiniBand 或 RoCE 軌道上執行 ib_write_bw，量測兩個連接埠之間的 RDMA 寫入頻寬。
通過測試，代表每條軌道各自都能達到效能，而不只是叢集網路的平均表現。這點很重要，因為集合運算的速度取決於最慢的連結：一條品質不佳的線材、一個光收發模組或連接埠，就可能拖慢作業中的每顆 GPU。
HW-3：GPUDirect RDMA 與儲存
GPUDirect RDMA 讓網路卡直接讀寫 GPU 記憶體，資料不必經由 CPU 與系統記憶體複製。HW-3 針對 GPUDirect RDMA 與儲存執行冒煙測試，也就是確認路徑端對端可正常運作的簡短檢查，其中包含 NVMe 讀取與寫入。
通過測試，代表資料能經由叢集設計的直接路徑抵達 GPU，且儲存路徑能正常讀寫。少了 GPUDirect RDMA，流量會退回經由主機記憶體的較慢路線；作業仍能執行，只是變慢，因此這條路徑需要單獨測試。
HW-4：NVLink 與 NVSwitch
在每台 HGX 伺服器內，八顆 GPU 透過 NVLink 與 NVSwitch 彼此連接，這條路徑比伺服器之間的網路快得多。HW-4 使用 NVIDIA 工具 nvbandwidth 量測這些連結的頻寬，並檢查連結數量：每條應該啟用的連結都已啟用。
通過測試，代表每顆 GPU 的所有 NVLink 連結皆已啟用，且達到測試預期的頻寬。缺少一條連結並不會讓伺服器停止運作，但會讓它變慢，因此需要檢查連結數量。
HW-5：24 小時持續負載測試
HW-5 在持續維持的功率上限下，於叢集上執行具代表性的推論負載 24 小時；功率上限是整個測試期間維持不變的固定功率限制。短時間測試會遺漏的故障，例如與高溫相關的錯誤、電力問題與間歇性故障，往往會在數小時的穩定負載下浮現。
通過測試，代表硬體在一整天穩定且具代表性的負載下，始終維持穩定。
驗收報告
燒機測試的結果會以驗收報告交給您，讓您在接手叢集時就握有佐證。
報告記錄您叢集的 HW-1 至 HW-5 測試結果，請保留作為基準。這些工具都是公開的（nccl-tests、ib_write_bw 與 nvbandwidth），因此日後若懷疑有問題，您的工程師可以執行相同的測試並進行比較。
硬體本身記錄在我們的資產清冊中：每個機櫃、節點、GPU、網路卡、硬碟、交換器、連接埠、光收發模組與線纜，並提供機器可讀的匯出檔供您使用。交付後，叢集在我們書面的維運承諾下運作。
節點未通過測試時
未通過測試的節點不會投入服務：它會被隔離、修復或更換，然後重新測試。
隔離
將節點移出叢集，使其無法影響其他節點或測試結果。
修復或更換
我們找出並修復故障，或更換故障的零件或整個節點。
重新測試
修復後或更換的節點會再次測試，通過後才交付叢集。
交付後，我們仍維持同樣嚴謹的做法。致命的 GPU 故障（XID 79、XID 48、雙位元 ECC 錯誤與列重新對應失敗）會立即隔離；任何疑似發生靜默資料損毀的節點，也都會保持隔離。
為何以燒機測試取代試用
買方常見問題
什麼是 GPU 燒機測試？
在新的 GPU 伺服器投入服務前，讓它們在持續負載下運作，使硬體故障在您的工作負載上線之前就先浮現。我們的燒機測試採用 NVIDIA 為推論服務供應商制定的硬體驗證，即 HW-1 至 HW-5 測試。
我們可以先進行試用或概念驗證嗎？
不可以。我們不提供試用、展示、概念驗證或短期租用。每個叢集在交付前都會通過 HW-1 至 HW-5 測試，您會收到彙整結果的驗收報告。
什麼是 NCCL 測試？
執行 nccl-tests，也就是 NVIDIA 針對 NCCL 函式庫的基準測試工具，量測 GPU 在 all-reduce 等集合運算中交換資料的速度。它是我們燒機測試中的 HW-1。
這些測試使用哪些工具？
nccl-tests，支援時搭配 SHARP（HW-1）；在每條 InfiniBand 或 RoCE 軌道上執行 ib_write_bw（HW-2）；GPUDirect RDMA 與儲存冒煙測試，包含 NVMe 讀取與寫入（HW-3）；用於 NVLink 與 NVSwitch 的 nvbandwidth（HW-4）；以及在具代表性推論負載下的 24 小時持續負載測試（HW-5）。
如果節點未通過測試，會如何處理？
該節點會被隔離、修復或更換，然後重新測試。通過後，我們便交付叢集。