NVIDIA RTX PRO 6000 Blackwell

RTX PRO 6000 Blackwell 適合需要每顆 GPU 大容量記憶體、功耗最高 600 W 而非 HGX 等級功耗的團隊：以 FP8 或 FP4 提供 70B 級模型服務的推論團隊、生成式影片與影像工作室，以及負責渲染、編碼與串流的媒體管線。

每顆 GPU 配備 96 GB 具 ECC 的 GDDR7，每台伺服器共 768 GB。70B 參數模型的 FP8 權重約佔 70 GB，因此模型可放入單顆 GPU，並留有 KV 快取的空間；同一模型的 4 位元版本則約剩 60 GB 可用。

GPU 之間透過 PCIe 5.0 x16 連接，沒有 NVLink。可放入單顆 GPU，或能乾淨分割到少數幾顆 GPU 的模型，適合 RTX PRO 6000；需要大量 GPU 間通訊的模型，則應使用 HGX 伺服器。

伺服器依您的要求配置，並在您的提案書中確認：CPU、系統記憶體、本機 NVMe 與網路。本頁數值適用於 Server Edition，即 NVIDIA 推出的被動散熱資料中心版顯示卡，每顆 GPU 功耗最高可設定為 600 W。

我們的蒙特婁場址提供現場工程支援。每台伺服器都會在交付前完成燒機測試，結果記錄於驗收報告中，我們的燒機與驗收頁面說明各項測試。

RTX PRO 6000 Blackwell 已在蒙特婁開放預訂。您以 36、48 或 60 個月的合約租用整台 8-GPU 伺服器，合約期越長，費率越低。

實際使用伺服器的公司須在簽約前填妥三份開戶表單。您在簽約時支付預付款，之後在整個合約期內支付單一固定月費，且不收取資料傳出費用，這在您需要傳入與傳出大型影片檔案時尤其重要。我們不提供試用，而是以燒機測試與驗收報告取代。蒙特婁是加拿大的場址，1Legion 也是加拿大公司：請參閱加拿大 GPU 伺服器，並至我們的採購方式頁面了解每個步驟。

• LLM 推論：以 FP8 或 FP4 執行 70B 級模型，每顆 GPU 一個模型，或分割到少數幾顆 GPU。請參閱 AI 推論。
• 生成式影片與影像：ComfyUI 與類似的擴散模型管線，記憶體決定了解析度、長度與批次大小。請參閱生成式影片。
• 渲染、視覺特效與轉碼：請參閱媒體與娛樂。

關於規模估算，請閱讀 8 x 96 GB：RTX PRO 6000 Blackwell 節點能容納哪些模型與在專屬裸機上執行 ComfyUI 與 AI 影片。若每顆 GPU 48 GB 已足夠，L40S 可依需求提供；對於最大型的模型，HGX B300 每顆 GPU 配備 270 GB。