1Legion 對 GPU 叢集儲存與網路的規格要求,與對 GPU 一樣嚴格:依 GPU 數量配置的儲存、專屬的南北向網路、具備 DDoS 流量清洗的備援網際網路邊緣,並可使用您自有的位址與 ASN。本頁所有數字皆來自我們針對 HGX B300 叢集的交付規格書,您的提案書會列出任何編號的偏差項目。至於其他伺服器,儲存與網路會依您的需求配置,並在您的提案書中確認。
兩種儲存選項
您可以選擇由原廠代管的儲存設備,或執行您自有軟體的儲存節點;兩者都依叢集中的 GPU 數量配置。
| 方案 A:儲存設備 | 方案 B:儲存節點 | |
|---|---|---|
| 您將獲得 | 依您的偏好,選擇由 VAST Data、WEKA 或 DDN 原廠代管的儲存設備 | 用於執行您自有儲存軟體的儲存節點 |
| 容量 | 每顆 GPU 至少 1 TB 可用容量 | 每顆 GPU 至少 3 TB 原始容量 |
| 硬碟 | 原廠支援的設計 | 30.72 TB NVMe PCIe 5.0,支援自我加密硬碟 |
| 參考規模 | 64、128 與 288 個節點分別對應 512 TB、1,024 TB 與 2,304 TB 可用容量 | 9、17 與 38 個節點,最低 9 個 |
| 服務 | 24/7 原廠升級處理、每個層級承諾的輸送量與延遲、可查看的用量與配額、經過測試的復原機制 | 我們維運硬體,並在 NVMe 硬碟達到耐用度上限前予以更換;儲存軟體由您自行維運 |
原始容量是在您的儲存軟體進行資料保護之前計算的容量;可用容量則是儲存設備在原廠資料保護之後實際提供的容量。方案 A 適合希望由單一原廠為輸送量、延遲與復原負責的團隊。方案 B 適合已自行維運儲存軟體、需要的是硬碟與節點而非代管系統的團隊。
每個 GPU 節點也配有自己的 NVMe:至少 9.2 TB 的原始容量供本機資料使用,超過該節點 2.1 TB GPU 記憶體的四倍,另加兩顆鏡像的 1 TB 開機硬碟(建議採用)。燒機測試 HW-3 涵蓋 GPUDirect RDMA 與儲存冒煙測試,包括 NVMe 讀取與寫入。
在訓練中,檢查點的大小與頻率決定了您所需的寫入輸送量。長時間訓練作業為何在共用雲端上失敗一文說明了長時間作業中的儲存 I/O 與檢查點機制。
南北向網路
南北向網路將每個節點連接到儲存、CPU 服務與邊緣網路,並與 GPU 叢集網路一樣只承載您的流量。
- 每個節點:建議 400 Gb/s,最低 200 Gb/s,透過 NVIDIA BlueField-3 前端網路卡提供 2 x 400 Gb/s(建議採用)或 2 x 200 Gb/s。
- 超額訂閱:儲存葉交換器無超額訂閱,因此其上行鏈路與下方所有連接埠的頻寬相符;GPU 葉交換器則低於 4:1。
- 協定:支援 RoCEv2,讓儲存與服務流量可透過路由式乙太網路使用 RDMA,並採用 MTU 9000 巨型訊框。
- 租戶模式:專屬於單一客戶,並與 GPU 叢集頁面所述的東西向 GPU 叢集網路分開。
網際網路邊緣與 DDoS 防護
您的叢集透過兩家獨立的 IP Transit 供應商與兩台備援邊緣路由器連上網際網路,DDoS 流量清洗可透過 BGP 於 5 分鐘內啟動。
- IP Transit:兩家獨立的供應商,每條線路 100 Gb/s,採實體分離的路徑,因此單一光纖斷線不會讓兩條線路同時中斷。
- 路由:eBGP 搭配 BFD,可偵測故障路徑,並在一分鐘內完成流量容錯移轉。
- 邊緣路由器:兩台,互為備援,採 A/B 雙路供電。
- 邊緣 ACL:依您的規則撰寫,變更於一個工作天內完成。
- DDoS 防護:由成熟的供應商提供第 3 層與第 4 層流量型攻擊清洗,透過 BGP 於 5 分鐘內啟動,容量至少 1 Tb/s。
NAT 與公用位址
傳出流量經由一對備援 NAT 設備,從只有您使用的位址送出;傳入服務則使用專屬的公用位址,可在 5 秒內完成容錯移轉。
NAT 與傳出流量
一對具備備援與高可用性的 NAT 設備,可在專屬的 SNAT 位址(通常為四個)上處理至少 1,000 萬個並行工作階段,讓合作夥伴能依位址將您的傳出流量加入允許清單。
公用服務位址
您會獲得專屬的公用位址(通常為八個),並可透過 BGP 宣告您的服務 VIP,5 秒內完成容錯移轉。IPv6 與 IPv4 以雙堆疊方式並行運作。
使用您自有的 IP 位址空間與 ASN
如果您擁有自己的 IP 位址空間與 ASN,我們的邊緣網路可以代為宣告,讓您的服務沿用使用者與合作夥伴已熟悉的位址。
- 您的前綴與 ASN:邊緣網路會宣告客戶自有的前綴與您的 ASN。
- RPKI:遵循您前綴的路由來源授權(ROA)。
- 工作階段安全:BGP 工作階段皆經過驗證。
網路遙測
費率涵蓋的項目
費率涵蓋伺服器與連接它們的網路。儲存以及 GPU 周邊的節點會個別列項計價,讓您依設計實際使用的項目付費。
| 項目 | 列示位置 |
|---|---|
| GPU 伺服器,包括其 CPU、記憶體、NVMe 硬碟與網路卡 | 包含在費率中 |
| HGX B300 叢集的叢集網路,每顆 GPU 800 Gb/s | 包含在費率中 |
| 依交付規格書建置的南北向網路 | 包含在費率中 |
| 邊緣網路:兩家 IP Transit 供應商、備援邊緣路由器、專屬公用位址與 DDoS 流量清洗 | 每個 HGX B300 叢集皆包含 |
| 網際網路頻寬依您的提案書訂定,不收取資料傳出費用 | 包含在費率中 |
| VAST Data、WEKA 或 DDN 儲存設備,或儲存節點 | 在您的提案書中個別列項 |
| 超出伺服器標準硬碟的本機 NVMe | 在您的提案書中個別列項 |
| CPU 與控制平面節點 | 在您的提案書中個別列項 |
| 更多頻寬,以及超出交付規格書的網路設計 | 在您的提案書中報價 |
採購方式說明了合約條件、計費以及提案書包含的其他內容。
買方常見問題
1Legion 提供哪些儲存廠牌?
依您的偏好,可選擇由 VAST Data、WEKA 或 DDN 原廠代管的儲存設備,或執行您自有儲存軟體的儲存節點。
HGX B300 叢集附帶多少儲存容量?
儲存設備為每顆 GPU 至少 1 TB 可用容量(64 節點叢集即為 512 TB),儲存節點則為每顆 GPU 至少 3 TB 原始容量。每個 GPU 節點另有至少 9.2 TB 的原始本機 NVMe 容量。
會收取資料傳出費用嗎?
不會。叢集在合約期內以單一固定費率計費,不收取資料傳出費用。
我們可以使用自己的 IP 位址與 ASN 嗎?
可以。邊緣網路可以宣告您的前綴與 ASN,遵循 RPKI ROA,並驗證 BGP 工作階段。
DDoS 防護多快啟動?
第 3 層與第 4 層流量型攻擊清洗會透過 BGP 於 5 分鐘內啟動,容量至少 1 Tb/s。
這些規格適用於所有伺服器嗎?
這些規格適用於依我們的交付規格書建置的 HGX B300 叢集。至於其他伺服器,儲存與網路會依您的需求配置,並在您的提案書中確認。