儲存與網路

每顆 GPU 至少 1 TB 可用儲存容量、專屬的南北向網路、兩家 IP Transit 供應商、DDoS 流量清洗,以及您自有的 IP 位址空間與 ASN,全部載明於我們的交付規格書中。

1Legion 對 GPU 叢集儲存與網路的規格要求,與對 GPU 一樣嚴格:依 GPU 數量配置的儲存、專屬的南北向網路、具備 DDoS 流量清洗的備援網際網路邊緣,並可使用您自有的位址與 ASN。本頁所有數字皆來自我們針對 HGX B300 叢集的交付規格書,您的提案書會列出任何編號的偏差項目。至於其他伺服器,儲存與網路會依您的需求配置,並在您的提案書中確認。

兩種儲存選項

您可以選擇由原廠代管的儲存設備,或執行您自有軟體的儲存節點;兩者都依叢集中的 GPU 數量配置。

方案 A:儲存設備方案 B:儲存節點
您將獲得依您的偏好,選擇由 VAST Data、WEKA 或 DDN 原廠代管的儲存設備用於執行您自有儲存軟體的儲存節點
容量每顆 GPU 至少 1 TB 可用容量每顆 GPU 至少 3 TB 原始容量
硬碟原廠支援的設計30.72 TB NVMe PCIe 5.0,支援自我加密硬碟
參考規模64、128 與 288 個節點分別對應 512 TB、1,024 TB 與 2,304 TB 可用容量9、17 與 38 個節點,最低 9 個
服務24/7 原廠升級處理、每個層級承諾的輸送量與延遲、可查看的用量與配額、經過測試的復原機制我們維運硬體,並在 NVMe 硬碟達到耐用度上限前予以更換;儲存軟體由您自行維運

原始容量是在您的儲存軟體進行資料保護之前計算的容量;可用容量則是儲存設備在原廠資料保護之後實際提供的容量。方案 A 適合希望由單一原廠為輸送量、延遲與復原負責的團隊。方案 B 適合已自行維運儲存軟體、需要的是硬碟與節點而非代管系統的團隊。

每個 GPU 節點也配有自己的 NVMe:至少 9.2 TB 的原始容量供本機資料使用,超過該節點 2.1 TB GPU 記憶體的四倍,另加兩顆鏡像的 1 TB 開機硬碟(建議採用)。燒機測試 HW-3 涵蓋 GPUDirect RDMA 與儲存冒煙測試,包括 NVMe 讀取與寫入。

在訓練中,檢查點的大小與頻率決定了您所需的寫入輸送量。長時間訓練作業為何在共用雲端上失敗一文說明了長時間作業中的儲存 I/O 與檢查點機制。

南北向網路

南北向網路將每個節點連接到儲存、CPU 服務與邊緣網路,並與 GPU 叢集網路一樣只承載您的流量。

  • 每個節點:建議 400 Gb/s,最低 200 Gb/s,透過 NVIDIA BlueField-3 前端網路卡提供 2 x 400 Gb/s(建議採用)或 2 x 200 Gb/s。
  • 超額訂閱:儲存葉交換器無超額訂閱,因此其上行鏈路與下方所有連接埠的頻寬相符;GPU 葉交換器則低於 4:1。
  • 協定:支援 RoCEv2,讓儲存與服務流量可透過路由式乙太網路使用 RDMA,並採用 MTU 9000 巨型訊框。
  • 租戶模式:專屬於單一客戶,並與 GPU 叢集頁面所述的東西向 GPU 叢集網路分開。

網際網路邊緣與 DDoS 防護

您的叢集透過兩家獨立的 IP Transit 供應商與兩台備援邊緣路由器連上網際網路,DDoS 流量清洗可透過 BGP 於 5 分鐘內啟動。

100 Gb/s 每條 IP Transit 線路,兩家供應商各自提供
1 分鐘 IP Transit 路徑之間容錯移轉的最長時間
5 分鐘 透過 BGP 啟動 DDoS 流量清洗
1 Tb/s 最低 DDoS 流量清洗容量
  • IP Transit:兩家獨立的供應商,每條線路 100 Gb/s,採實體分離的路徑,因此單一光纖斷線不會讓兩條線路同時中斷。
  • 路由:eBGP 搭配 BFD,可偵測故障路徑,並在一分鐘內完成流量容錯移轉。
  • 邊緣路由器:兩台,互為備援,採 A/B 雙路供電。
  • 邊緣 ACL:依您的規則撰寫,變更於一個工作天內完成。
  • DDoS 防護:由成熟的供應商提供第 3 層與第 4 層流量型攻擊清洗,透過 BGP 於 5 分鐘內啟動,容量至少 1 Tb/s。

NAT 與公用位址

傳出流量經由一對備援 NAT 設備,從只有您使用的位址送出;傳入服務則使用專屬的公用位址,可在 5 秒內完成容錯移轉。

NAT 與傳出流量

一對具備備援與高可用性的 NAT 設備,可在專屬的 SNAT 位址(通常為四個)上處理至少 1,000 萬個並行工作階段,讓合作夥伴能依位址將您的傳出流量加入允許清單。

公用服務位址

您會獲得專屬的公用位址(通常為八個),並可透過 BGP 宣告您的服務 VIP,5 秒內完成容錯移轉。IPv6 與 IPv4 以雙堆疊方式並行運作。

使用您自有的 IP 位址空間與 ASN

如果您擁有自己的 IP 位址空間與 ASN,我們的邊緣網路可以代為宣告,讓您的服務沿用使用者與合作夥伴已熟悉的位址。

  • 您的前綴與 ASN:邊緣網路會宣告客戶自有的前綴與您的 ASN。
  • RPKI:遵循您前綴的路由來源授權(ROA)。
  • 工作階段安全:BGP 工作階段皆經過驗證。

網路遙測

兩台邊緣路由器都會以 NetFlow v9 或 IPFIX 格式,將流量紀錄匯出到您的收集器,讓您的網路與資安團隊掌握通過邊緣網路的流量。

我們也會透過 BMC 與 Redfish 收集頻外硬體遙測資料,並在可行時收集網路與機房遙測資料。維運遙測資料至少保留 30 天,事件與狀態歷史紀錄至少保留 12 個月。安全與合規說明了存取控管與我們經稽核的頻外存取,維運承諾則列出了每一項回應時間。

費率涵蓋的項目

費率涵蓋伺服器與連接它們的網路。儲存以及 GPU 周邊的節點會個別列項計價,讓您依設計實際使用的項目付費。

項目列示位置
GPU 伺服器,包括其 CPU、記憶體、NVMe 硬碟與網路卡包含在費率中
HGX B300 叢集的叢集網路,每顆 GPU 800 Gb/s包含在費率中
依交付規格書建置的南北向網路包含在費率中
邊緣網路:兩家 IP Transit 供應商、備援邊緣路由器、專屬公用位址與 DDoS 流量清洗每個 HGX B300 叢集皆包含
網際網路頻寬依您的提案書訂定,不收取資料傳出費用包含在費率中
VAST Data、WEKA 或 DDN 儲存設備,或儲存節點在您的提案書中個別列項
超出伺服器標準硬碟的本機 NVMe在您的提案書中個別列項
CPU 與控制平面節點在您的提案書中個別列項
更多頻寬,以及超出交付規格書的網路設計在您的提案書中報價

採購方式說明了合約條件、計費以及提案書包含的其他內容。

買方常見問題

1Legion 提供哪些儲存廠牌?

依您的偏好,可選擇由 VAST Data、WEKA 或 DDN 原廠代管的儲存設備,或執行您自有儲存軟體的儲存節點。

HGX B300 叢集附帶多少儲存容量?

儲存設備為每顆 GPU 至少 1 TB 可用容量(64 節點叢集即為 512 TB),儲存節點則為每顆 GPU 至少 3 TB 原始容量。每個 GPU 節點另有至少 9.2 TB 的原始本機 NVMe 容量。

會收取資料傳出費用嗎?

不會。叢集在合約期內以單一固定費率計費,不收取資料傳出費用。

我們可以使用自己的 IP 位址與 ASN 嗎?

可以。邊緣網路可以宣告您的前綴與 ASN,遵循 RPKI ROA,並驗證 BGP 工作階段。

DDoS 防護多快啟動?

第 3 層與第 4 層流量型攻擊清洗會透過 BGP 於 5 分鐘內啟動,容量至少 1 Tb/s。

這些規格適用於所有伺服器嗎?

這些規格適用於依我們的交付規格書建置的 HGX B300 叢集。至於其他伺服器,儲存與網路會依您的需求配置,並在您的提案書中確認。

告訴我們您需要執行什麼。

請提供硬體、伺服器數量、合約期與開始日期。您將收到以我們交付規格書為基礎的書面提案書。