1Legion 以整台機器的形式出租 AI 推論用 GPU 伺服器：八顆 NVIDIA GPU 只處理您的流量，您的推論服務堆疊與硬體之間沒有 hypervisor。您依每顆 GPU 的記憶體選擇伺服器，因為權重以及每個進行中請求的 KV 快取都必須容納在其中。
專屬推論伺服器讓延遲維持可預測
在專屬伺服器上，競爭 GPU 記憶體與記憶體頻寬的請求只有您自己的。
對稠密模型而言，每生成一個 token 都要從 GPU 記憶體讀取全部權重，因此記憶體頻寬決定了解碼速度。以 FP8 表示的 70B 參數模型有 70 GB 的權重，而 HGX B300 GPU 的記憶體讀取速度為 7.7 TB/s，因此在計入 KV 快取讀取之前，單一序列的上限約為每秒 110 個 token。批次處理可讓同一次讀取服務多個序列。在共用硬體上，其他租戶的負載會改變這個上限。在我們的硬體上只有一個租戶，也沒有 hypervisor；我們這一端的變更遵循書面變更管理，高風險維護至少提前 7 天通知。我們的文章為何 LLM 推論在共用 GPU 基礎架構上會出問題說明了其中的機制。
依權重與 KV 快取配置的 LLM 推論硬體
您需要的記憶體，等於模型權重加上每個並行序列的 KV 快取，再加上留給活化值與執行環境的餘裕。
在 FP16 或 BF16 下，每個參數的權重佔 2 個位元組，FP8 為 1 個位元組，FP4 為半個位元組，因此 70B 參數模型分別需要 140 GB、70 GB 或 35 GB。KV 快取會隨每個處理中的 token 增加：一個具有 80 層與 8 個 KV 頭的 Llama 3 70B 級模型，在 16 位元精度下每個 token 約佔 0.33 MB，一個 32,768 token 的序列約需 10.7 GB。
| FP8 的 70B 模型，單顆 GPU | 扣除權重後的剩餘記憶體 | 8K 序列並行數 | 32K 序列並行數 |
|---|---|---|---|
| HGX B300，270 GB | 約 200 GB | 約 74 | 約 18 |
| RTX PRO 6000 Blackwell，96 GB | 約 26 GB | 約 9 | 約 2 |
這些是上限值。計算時未計入活化值與框架開銷，並假設 KV 快取為 16 位元；將快取量化可以提高這些上限。完整計算過程請見在 96 與 270 GB 下 KV 快取還剩多少空間。
哪種伺服器適合哪種模型
HGX B300 適合服務最大的模型與最長的上下文，RTX PRO 6000 Blackwell 適合以 FP8 或 FP4 服務 70B 級模型，L40S 則適合較小的模型。
HGX B300
每顆 GPU 配備 270 GB HBM3e，頻寬 7.7 TB/s，每台伺服器 2.1 TB。以 FP4 表示的 405B 參數模型約 203 GB，可放入單顆 GPU，並留下約 67 GB 給快取。開放預訂，位於多倫多。
RTX PRO 6000 Blackwell
每顆 GPU 配備 96 GB 具 ECC 的 GDDR7，每台伺服器 768 GB，第五代 Tensor 核心支援 FP8 與 FP4。以 FP4 表示的 70B 模型，每顆 GPU 約可留下 61 GB 給快取。開放預訂，位於蒙特婁。
L40S
每顆 GPU 配備 48 GB 具 ECC 的 GDDR6，頻寬 864 GB/s，每台伺服器 384 GB，密集 FP8 運算效能 733 TFLOPS。以 FP16 表示的 8B 參數模型佔 16 GB，約留下 32 GB 給快取。依需求提供。
當單一模型需要的記憶體超過一台伺服器的容量時，GB300 NVL72 將 72 顆 GPU 與 20 TB 的 HBM3e 置於同一個 NVLink 網域，NVLink 頻寬達 130 TB/s，需提前預訂。
每顆 GPU 一個複本，每台伺服器八個
一台 8-GPU 伺服器等於八個獨立的記憶體池，因此大多數部署會在負載平衡器後方，於每顆 GPU 上執行一個模型複本。
在 HGX B300 上，可以是八個 FP8 的 70B 模型複本，每個複本約可容納 18 個 32K token 的序列；也可以是四個 FP8 的 405B 模型雙 GPU 複本，透過每顆 GPU 1.8 TB/s 的 NVLink 連接。RTX PRO 6000 Blackwell GPU 透過 PCIe 5.0 x16 而非 NVLink 連接，因此適合每顆 GPU 一個複本：八個 FP4 的 70B 複本，或四顆 GPU 提供推論服務，另外四顆微調下一個版本。其記憶體頻寬約為 B300 GPU 的五分之一，因此較適合批次推論服務，而非追求最低的單一串流延遲。對於小型模型，MIG 可將一顆 RTX PRO 6000 最多分割為四個 24 GB 執行個體，將一顆 B300 GPU 最多分割為七個。我們的文章 B300 節點能容納哪些模型與 RTX PRO 6000 節點能容納哪些模型提供了具體配置方式。
透過邊緣網路服務公開流量
在依我們的交付規格書建置的 HGX B300 叢集上，邊緣網路專為公開推論端點而設計。
- 兩家獨立的 IP Transit 供應商，每條線路 100 Gb/s，採實體分離的路徑，並使用 eBGP 與 BFD。
- 專屬的公用服務位址（通常為八個），透過 BGP 宣告您的 VIP，5 秒內完成容錯移轉，並支援 IPv6 雙堆疊。
- 至少 1 Tb/s 的第 3 層與第 4 層流量型 DDoS 流量清洗，透過 BGP 於 5 分鐘內啟動。
- 一對備援 NAT 設備，支援至少 1,000 萬個並行工作階段，並提供專屬的 SNAT 位址。
- 可使用您自有的 IP 位址空間與 ASN，並遵循您的 RPKI ROA。
完整設計請見儲存與網路，在 B300 上提供推論服務的內容則請見 B300 用於正式環境推論。
推論伺服器的運作地點
HGX B300 在多倫多運作，RTX PRO 6000 Blackwell 及其他推論伺服器則在蒙特婁運作。
多倫多
營運中NVIDIA HGX B300 伺服器與叢集。
蒙特婁
營運中RTX PRO 6000 Blackwell 及其他推論伺服器，並提供現場工程支援。
德拉瓦州
即將上線為需要在美國境內運算的客戶提供 HGX B300 容量。
赫爾辛基
開發中一處開發中的既有工業場址，將作為資料中心，提供未來在歐洲的容量。
合作夥伴網路：北美、歐洲、非洲與澳洲 26 座城市的 49 座資料中心。 查看所有地點
位於美國德拉瓦州的 HGX B300 容量即將上線。如果您的資料必須留在加拿大境內，請選擇多倫多或蒙特婁；請參閱我們的資料中心與加拿大 GPU 雲端。
推論伺服器的租用方式
推論伺服器以整台出租，合約期 36、48 或 60 個月，採書面提案書中訂定的單一固定月費，您的端點送出的流量不收取資料傳出費用。
您在簽約時支付預付款，之後在合約期內按月付款，合約期越長，費率越低。採購方式說明了開戶表單與合約。
買方常見問題
我們可以只租用單顆 GPU 進行推論嗎？
不可以。我們出租的是整台伺服器，每台配備八顆 GPU。透過每顆 GPU 執行一個模型複本，或使用 MIG 執行個體，您可以在一台伺服器上執行多個模型。
哪種伺服器適合 70B 模型？
RTX PRO 6000 Blackwell 可在單顆 96 GB GPU 上容納 FP8 或 FP4 的 70B 模型。若需要長上下文或高並行數，HGX B300 在載入 FP8 權重後，每顆 GPU 約有 200 GB 可供 KV 快取使用。
1Legion 是否按 token、按請求或按資料傳出收費？
不會。您在合約期內為伺服器支付單一固定月費，且不收取資料傳出費用。
我們可以在簽約前對模型進行基準測試嗎？
我們不提供試用或概念驗證。我們的工程師會依您模型的權重、上下文長度與並行數，與您一起決定伺服器配置；每個叢集在交付前都會完成燒機測試，結果記錄於驗收報告中。
1Legion 的推論伺服器位於哪裡？
HGX B300 伺服器位於多倫多，RTX PRO 6000 Blackwell 及其他推論伺服器位於蒙特婁。位於美國德拉瓦州的 HGX B300 容量即將上線。
我們可以執行哪些推論服務軟體？
這些伺服器是裸機，因此由您自行安裝軟體堆疊，例如 vLLM、SGLang 或 TensorRT-LLM。我們也可以在其下層安裝並維運代管 Kubernetes。