依工作負載配置硬體

合適的伺服器,取決於記憶體中必須容納的內容,以及通訊必須跨越的範圍。這些頁面將 NVIDIA 伺服器對應到四類工作。

1Legion 針對四類工作出租專屬 NVIDIA GPU 伺服器。以下每個頁面都會說明適合的伺服器、決定規模的因素,以及伺服器的運作地點。

四類工作負載

每類工作負載最先遇到的限制各不相同:訓練受限於叢集網路,推論受限於記憶體,媒體受限於編碼器與驅動程式,生成式影片則受限於決定解析度與長度的記憶體。

AI 訓練

長時間的訓練作業需要完成燒機測試的硬體與無阻塞叢集網路。提供 64 至 288 個節點的 HGX B300 叢集與 HGX B200 伺服器,GB300 NVL72 與 Vera Rubin 則需提前預訂。

用於 AI 訓練的 GPU 叢集

AI 推論

專屬伺服器讓延遲維持可預測。依權重加上 KV 快取決定規模:B300 每顆 GPU 270 GB,RTX PRO 6000 Blackwell 96 GB,L40S 48 GB。

用於 AI 推論的 GPU 伺服器

媒體與娛樂

在整台伺服器上進行渲染、視覺特效、虛擬製作與轉碼,搬移大型媒體檔案不收取資料傳出費用。

渲染與媒體用 GPU 伺服器

生成式影片

ComfyUI 等擴散模型管線,由 GPU 記憶體決定解析度、片段長度與批次大小。

用於生成式影片的 GPU 伺服器

我們如何決定伺服器配置

四個問題決定硬體配置,提案書會以書面逐一回答。

  1. GPU 記憶體必須容納什麼:權重、KV 快取或活化值,以及留給執行環境的餘裕。
  2. GPU 之間的通訊範圍:在單台伺服器內透過 NVLink,或跨叢集透過每顆 GPU 800 Gb/s 的叢集網路。
  3. 需要多少台伺服器、使用多久:整台伺服器,合約期 36、48 或 60 個月,合約期越長,費率越低。
  4. 運作地點:多倫多與蒙特婁已在營運中,德拉瓦州即將上線,芬蘭正在開發中,我們的合作夥伴網路另涵蓋四大洲的更多城市。

我們的 GPU 伺服器產品目錄列出我們部署的每一款機型,交付規格書則說明 HGX B300 叢集的建置方式。

買方常見問題

1Legion 如何判斷哪款 GPU 伺服器適合我們的工作負載?

我們從記憶體開始:模型權重、KV 快取或活化值,以及餘裕。接著是互連、叢集規模與地點。只要提出附有模型大小與流量的報價申請,就能開始。

一份合約可以同時包含訓練與推論伺服器嗎?

可以。一份提案書可以同時包含用於訓練的 HGX B300 伺服器與用於推論的 RTX PRO 6000 Blackwell 伺服器,各自採用 36、48 或 60 個月的合約期。

1Legion 是否提供按小時計費的 GPU 租用以供測試?

不提供。我們以 36 至 60 個月的合約期出租整台伺服器,每個叢集在交付前都會通過燒機與驗收測試,以此取代試用。

伺服器在哪裡運作?

HGX B300 容量位於多倫多,RTX PRO 6000 Blackwell 與推論伺服器位於蒙特婁,更多 B300 容量即將在美國上線,芬蘭的一處場址正在開發中。請參閱資料中心。

告訴我們您需要執行什麼。

請提供硬體、伺服器數量、合約期與開始日期。您將收到以我們交付規格書為基礎的書面提案書。