1Legion 的代管 Kubernetes 在專屬於您的 GPU 伺服器上執行，而非共用節點。我們以 NVIDIA GPU Operator 與 Network Operator 安裝叢集，之後負責維運、升級、監控，並隨時待命。您的團隊透過 Kubernetes 部署；我們則確保平台及其底層的 GPU 與叢集網路正常運作。
裸機 GPU 伺服器上的 Kubernetes
兩個 NVIDIA Operator 會在每個節點上安裝 GPU 與網路軟體，讓硬體在 Kubernetes 中顯示為 Pod 可請求的資源。
NVIDIA GPU Operator
管理每個 GPU 節點上的 NVIDIA 驅動程式、NVIDIA Container Toolkit、Kubernetes 裝置外掛程式、GPU Feature Discovery 標籤，以及以 DCGM 為基礎的監控。Pod 以 nvidia.com/gpu 請求 GPU。
NVIDIA Network Operator
安裝主機網路軟體：NVIDIA 網路驅動程式、裝置外掛程式、CNI 外掛程式與 IP 位址管理，讓 Pod 能使用 RDMA 叢集網路與 GPUDirect RDMA。
這些伺服器是裸機，因此您的 Pod 與 GPU 之間沒有 hypervisor，節點上也沒有其他客戶的工作負載。在 HGX B300 叢集上，每個 GPU 節點提供 8 顆 GPU（每顆配備 270 GB HBM3e）、每顆 GPU 800 Gb/s 的叢集網路頻寬，以及至少 9.2 TB 的本機 NVMe，全部僅供您的工作負載使用。CPU 節點負責 GPU 周邊的服務，例如模型服務、路由與批次處理，每顆 GPU 對應至少 6 個硬體執行緒與 24 GB 記憶體。
GPU Feature Discovery 會為每個節點標上其 GPU 型號、記憶體與驅動程式版本，讓部署能以一般的 node selector 選取所需節點。
代管的具體含義
只要叢集由我們代管，以下四項工作就始終由我們承擔：維運、升級、監控，以及在任何時段為叢集負責回應。
維運
我們負責維運控制平面、兩個 Operator 及每個節點。出現致命 GPU 故障（XID 79、XID 48、雙位元 ECC 錯誤、列重新對應失敗）的節點會立即隔離。
升級
我們依書面變更管理流程升級 Kubernetes、Operator 與 GPU 驅動程式，高風險作業至少提前 7 個日曆天通知。
監控
收集每顆 GPU 的 DCGM 指標，以及透過 BMC 與 Redfish 取得的頻外硬體遙測資料。維運遙測資料至少保存 30 天，事件與狀態歷史紀錄至少保存 12 個月。
網路維運團隊在任何時段都會於 15 分鐘內投入處理，機房工程或現場代操作人員則在 45 分鐘內投入。反覆出現的 XID 13 與 XID 31 錯誤，會在達到與您約定的次數後進行處理。另有兩項承諾對長時間訓練特別重要：我們會將 NCCL 停滯與叢集網路事件進行關聯分析，並在 NVMe 硬碟達到耐用度上限前予以更換。
共同責任
我們負責維運從硬體到 Kubernetes 的平台；您則負責您部署在平台上的內容。
| 類別 | 1Legion 負責 | 您負責 |
|---|---|---|
| 伺服器、電力與散熱 | 找出並修復硬體、機房與散熱故障 | 在共用 Slack 頻道中回報任何異常狀況 |
| GPU 故障 | 立即隔離出現致命 GPU 故障的節點，並將疑似發生靜默資料損毀的節點保持隔離 | 為工作建立檢查點，以便在健康的節點上恢復執行 |
| Kubernetes 與節點軟體 | 安裝、升級並監控 Kubernetes、GPU Operator、Network Operator 與 GPU 驅動程式 | 告訴我們您的軟體依賴哪些版本 |
| 叢集網路與邊緣網路 | 維運東西向叢集網路、南北向網路與邊緣網路，並在一個工作天內套用邊緣 ACL 變更 | 決定邊緣 ACL 規則，以及您的服務對外開放哪些內容 |
| 事件 | 在 15 分鐘內確認受理、指派事件指揮官、至少每 60 分鐘更新一次，並在任何影響客戶的事件發生後 7 天內撰寫事後檢討報告 | 在共用頻道中或透過待命聯繫管道提出問題 |
| 工作負載 | 讓工作負載執行所在的節點與 GPU 維持正常運作 | 容器、模型、資料集與檢查點，以及使用它們的部署與工作 |
| 監控 | 監看叢集、節點與 GPU 的健康狀態 | 監看您自己的應用程式與模型 |
升級與維護
叢集的每項變更都遵循書面變更管理流程，高風險的非緊急維護至少提前 7 個日曆天通知。
只要 Kubernetes、兩個 Operator 與 GPU 驅動程式的升級屬於高風險作業，就適用此規則，與硬體作業相同。緊急作業（例如在事件期間恢復服務）則改依事件處理流程進行。長時間訓練作業為何在共用雲端上失敗說明了未經通知的驅動程式更新會對進行中的訓練造成什麼影響。資產清冊記錄每個節點、GPU、網路卡與硬碟，偵測與約定基準之間的偏移，並在 5 分鐘內以機器可讀的匯出檔讓您看到狀態變更。我們對您伺服器的頻外存取均經稽核。
代管 Slurm
代管 Slurm 是另一種選擇，適合偏好以批次工作排程的團隊。
以 sbatch 與 srun 提交訓練工作、並依分區與優先順序排隊的研究團隊，通常比較偏好 Slurm 而非 Kubernetes。我們會維運您團隊偏好的排程器，並在您的提案書中載明。無論選擇哪一種，伺服器、叢集網路與 HW-1 至 HW-5 燒機測試都相同，與我們事件指揮官共用的頻道也一樣。兩者底層的硬體請參閱 GPU 叢集。
代管 Kubernetes 如何計價
代管 Kubernetes 是在伺服器租用之上另行計價的管理服務，在您的提案書中獨立列為一項。
沒有公開的費用標準，也沒有自助註冊。我們正在開發自有平台軟體，用於資產清冊管理、監控與燒機測試自動化。目前，您透過共用 Slack 頻道、指定的技術客戶負責人、交付時的驗收報告，以及我們寄送的報告與我們合作。採購方式說明合約條件、計費與開戶。
買方常見問題
會安裝哪些 NVIDIA 軟體？
NVIDIA GPU Operator 與 NVIDIA Network Operator。兩者共同管理每個節點上的 GPU 驅動程式、容器工具組、裝置外掛程式、GPU Feature Discovery、DCGM 監控與 RDMA 網路軟體。
有提供代管 Slurm 嗎？
有。代管 Slurm 是另一種選擇，適合偏好批次排程的團隊，您的提案書會載明我們為您維運的排程器。
GPU 故障時會怎麼處理？
出現致命 GPU 故障的節點，例如 XID 79、XID 48、雙位元 ECC 錯誤或列重新對應失敗，會立即隔離，並由我們找出並修復故障。
維護前會提前多久通知？
高風險的非緊急維護至少提前 7 個日曆天通知，且每項變更都遵循書面變更管理流程。
叢集有網頁主控台嗎？
還沒有。我們正在開發自有平台軟體；現階段您透過共用 Slack 頻道、指定的技術客戶負責人與書面報告與我們合作。
代管 Kubernetes 如何計價？
作為伺服器租用之上的管理服務計價，並在您的書面提案書中載明。我們不公布價格。