1Legion 針對四類工作出租專屬 NVIDIA GPU 伺服器。以下每個頁面都會說明適合的伺服器、決定規模的因素,以及伺服器的運作地點。
四類工作負載
每類工作負載最先遇到的限制各不相同:訓練受限於叢集網路,推論受限於記憶體,媒體受限於編碼器與驅動程式,生成式影片則受限於決定解析度與長度的記憶體。
AI 訓練
長時間的訓練作業需要完成燒機測試的硬體與無阻塞叢集網路。提供 64 至 288 個節點的 HGX B300 叢集與 HGX B200 伺服器,GB300 NVL72 與 Vera Rubin 則需提前預訂。
AI 推論
專屬伺服器讓延遲維持可預測。依權重加上 KV 快取決定規模:B300 每顆 GPU 270 GB,RTX PRO 6000 Blackwell 96 GB,L40S 48 GB。
我們如何決定伺服器配置
四個問題決定硬體配置,提案書會以書面逐一回答。
- GPU 記憶體必須容納什麼:權重、KV 快取或活化值,以及留給執行環境的餘裕。
- GPU 之間的通訊範圍:在單台伺服器內透過 NVLink,或跨叢集透過每顆 GPU 800 Gb/s 的叢集網路。
- 需要多少台伺服器、使用多久:整台伺服器,合約期 36、48 或 60 個月,合約期越長,費率越低。
- 運作地點:多倫多與蒙特婁已在營運中,德拉瓦州即將上線,芬蘭正在開發中,我們的合作夥伴網路另涵蓋四大洲的更多城市。
我們的 GPU 伺服器產品目錄列出我們部署的每一款機型,交付規格書則說明 HGX B300 叢集的建置方式。
買方常見問題
1Legion 如何判斷哪款 GPU 伺服器適合我們的工作負載?
我們從記憶體開始:模型權重、KV 快取或活化值,以及餘裕。接著是互連、叢集規模與地點。只要提出附有模型大小與流量的報價申請,就能開始。
一份合約可以同時包含訓練與推論伺服器嗎?
可以。一份提案書可以同時包含用於訓練的 HGX B300 伺服器與用於推論的 RTX PRO 6000 Blackwell 伺服器,各自採用 36、48 或 60 個月的合約期。
1Legion 是否提供按小時計費的 GPU 租用以供測試?
不提供。我們以 36 至 60 個月的合約期出租整台伺服器,每個叢集在交付前都會通過燒機與驗收測試,以此取代試用。
伺服器在哪裡運作?
HGX B300 容量位於多倫多,RTX PRO 6000 Blackwell 與推論伺服器位於蒙特婁,更多 B300 容量即將在美國上線,芬蘭的一處場址正在開發中。請參閱資料中心。