本 GPU 基礎架構名詞解釋定義 GPU 伺服器規格、叢集設計、資料中心需求與合約中出現的術語。若本網站有頁面深入介紹某個主題，該術語的定義會連結至該頁面。
A
B
裸機Bare metal
專屬於單一客戶的實體伺服器，工作負載與硬體之間沒有 hypervisor，因此客戶可使用伺服器的全部 CPU、記憶體、GPU 與網路介面。1Legion 的所有 GPU 伺服器都以這種方式出租，且以整台伺服器為單位。
BGP
Border Gateway Protocol（邊界閘道協定），網路在網際網路上交換可達性資訊所使用的路由協定。我們的 HGX B300 邊緣網路與每家 IP Transit 供應商之間執行外部 BGP（eBGP），並使用雙向轉送偵測（BFD），在鏈路中斷時於一分鐘內完成容錯移轉；請參閱儲存與網路。
Blackwell Ultra
HGX B300 與 GB300 NVL72 所採用的 NVIDIA GPU 架構。與 Blackwell（B200）相比，它每顆 GPU 的 HBM3e 更多，密集 FP4 輸送量更高，但 FP64 輸送量低得多，因此是為 AI 訓練與推論而設計，而非雙精度 HPC。
BlueField-3
NVIDIA 的資料處理器（DPU）：一種自帶 Arm 核心的網路卡，可分擔主機 CPU 的網路、儲存與安全工作。我們的 HGX B300 交付規格書採用 BlueField-3 作為 GPU 節點與 CPU 節點的前端網路介面；GPU 節點建議採用 2 x 400 Gb/s，最低為 2 x 200 Gb/s。
燒機測試Burn-in
讓新硬體在投入使用前於持續負載下運轉，使早期故障在您的工作負載上線之前就先發生。1Legion 以 NVIDIA 的硬體驗證測試 HW-1 至 HW-5 對每個叢集進行燒機測試，其中包括在具代表性的推論負載下進行 24 小時持續負載測試；請參閱燒機與驗收。
C
主機代管Colocation
在資料中心租用空間、電力、散熱與網路連線，用來放置您自有的伺服器，通常按電力的 kW 數計價。1Legion 在合作夥伴的機房以多年期合約轉售主機代管；請參閱主機代管與維運。
ConnectX-8
NVIDIA 的 SuperNIC，頻寬最高 800 Gb/s，可在 InfiniBand 或乙太網路模式下運作。我們的交付規格書建議 HGX B300 節點的後端（東西向）網路採用它，每顆 GPU 800 Gb/s。
控制平面Control plane
執行叢集管理服務的伺服器，例如 Kubernetes API 伺服器與 etcd，或 Slurm 控制器，與執行工作負載的節點分開。我們的 HGX B300 叢集每 2,304 顆 GPU 配置六個控制平面節點，分布在兩個機櫃；請參閱交付規格書。
CPU 節點CPU node
不含 GPU 的伺服器，負責執行 GPU 節點周邊的服務，例如模型服務前端、請求路由與批次作業。我們的 HGX B300 叢集為叢集中的每顆 GPU，在 CPU 節點上提供至少 6 個硬體執行緒與 24 GB 記憶體；請參閱 GPU 叢集。
D
資料中心等級Data center tier
衡量資料中心電力與散熱備援程度的評級。最知名的是 Uptime Institute 的 Tier I 至 Tier IV，分別針對設計文件、建成的機房與營運永續性進行認證；TIA-942 與 EN 50600 則各有自己的四級評級；請參閱安全與合規。
DDoS 流量清洗DDoS scrubbing
在分散式阻斷服務攻擊期間，將流量導經供應商的過濾系統，移除攻擊流量，只讓乾淨的流量抵達網路。在我們的 HGX B300 規格書中，第 3 層與第 4 層的流量型攻擊清洗會在 5 分鐘內透過 BGP 啟動，清洗容量至少 1 Tb/s；請參閱儲存與網路。
預付款Down payment
客戶簽約時支付的款項。1Legion 於簽約時收取預付款，其餘款項在整個合約期內以單一固定費率按月計費；配置量較大時，可能需要銀行保證函或信用狀等付款擔保；請參閱採購方式。
E
東西向叢集網路East-west fabric
叢集中 GPU 節點之間的網路，承載分散式訓練與推論的集合通訊運算。在我們的 HGX B300 叢集中，這個網路採軌道最佳化設計、完全無阻塞，每顆 GPU 800 Gb/s，並專屬於單一客戶；請參閱 GPU 叢集。
ECC 錯誤ECC error
由錯誤更正碼偵測到的記憶體錯誤。單位元錯誤可在原處直接更正，但雙位元錯誤無法更正，因此 1Legion 將 GPU 上的雙位元錯誤視為致命故障，並立即隔離該硬體；請參閱維運承諾。
資料傳出Egress
離開供應商網路的資料，例如您移出的結果、檢查點或媒體檔案。許多雲端服務商按 GB 收取這項費用；1Legion 的合約不收取資料傳出費用，如採購方式所述。
F
FP4
一種 4 位元浮點格式，以 FP8 一半的記憶體儲存模型權重（某些情況下也包括活化值），但會損失部分精度。NVIDIA Blackwell 的 Tensor 核心以硬體執行此格式，包括 NVIDIA 的 NVFP4 變體，此變體加入細粒度縮放以維持準確度；請參閱用於 AI 推論的 GPU 伺服器。
FP8
一種 8 位元浮點格式，有 E4M3 與 E5M2 兩種變體，與 FP16 或 BF16 相比，每個數值所需的記憶體減半。NVIDIA Ada Lovelace、Hopper 與 Blackwell GPU 的 Tensor 核心以此格式執行訓練與推論；請參閱用於 AI 推論的 GPU 伺服器。
G
GB300 NVL72
NVIDIA 的機櫃級系統，將 72 顆 Blackwell Ultra GPU 與 36 顆 Grace CPU 結合在單一 NVLink 網域中，完全採用液冷。1Legion 以整個 72-GPU 機櫃為單位出租，需提前預訂；請參閱 NVIDIA GB300 NVL72。
GDDR7
NVIDIA Blackwell RTX 顯示卡採用的這一代顯示記憶體，安裝在 GPU 周圍的電路板上，而不是像 HBM 那樣堆疊在 GPU 旁。RTX PRO 6000 Blackwell 配備 96 GB GDDR7，GeForce RTX 5090 則配備 32 GB。
GPU Operator
NVIDIA 的 Kubernetes Operator，負責在每個 GPU 節點上安裝並管理 GPU 驅動程式、容器工具組、裝置外掛程式與監控元件。我們的代管 Kubernetes 服務會將它與 NVIDIA Network Operator 一併安裝。
GPUDirect RDMA
NVIDIA 的一項技術，讓網路卡直接讀寫 GPU 記憶體，不必經由主機記憶體複製資料。它可降低不同節點上 GPU 之間、以及 GPU 與儲存之間流量的延遲與 CPU 負載，交付前會以 HW-3 測試進行檢查；請參閱燒機與驗收。
H
HBM3e
HBM3 高頻寬記憶體標準的延伸版本：在與 GPU 相同的封裝上堆疊多層 DRAM 晶粒，為每顆 GPU 提供每秒數 TB 的頻寬。NVIDIA 公布的 HGX B300 規格為每顆 GPU 270 GB HBM3e，每台 8-GPU 伺服器 2.1 TB；請參閱 NVIDIA HGX B300。
HGX
NVIDIA 的伺服器平台：多顆 SXM GPU 安裝在同一塊基板上，經由 NVSwitch 晶片以 NVLink 互連，再由伺服器製造商組裝成完整系統；目前的基板搭載八顆 GPU。1Legion 以整台 8-GPU 伺服器的形式出租 HGX B300 與 HGX B200 系統。
I
事件指揮官Incident commander
主導事件應變的人：負責協調應變人員、決定處置行動，並在服務恢復前主責溝通。1Legion 會在 15 分鐘內確認事件並指派事件指揮官，之後至少每 60 分鐘發送一次更新；請參閱維運承諾。
InfiniBand
一種無損、低延遲的網路技術，內建遠端直接記憶體存取（RDMA）與網路內運算，廣泛用於 GPU 叢集網路。NVIDIA 的 Quantum 交換器實作了此技術；我們的 HGX B300 叢集東西向網路可接受 Quantum InfiniBand，但建議採用 Spectrum-X 或 Broadcom Tomahawk 6 乙太網路。
ISO 27001
ISO/IEC 27001，資訊安全管理系統的國際標準；經認可的機構會在外部稽核後，依此標準為組織頒發認證。我們正朝取得 SOC 2 與 ISO 27001 努力。我們目前的安全文件可在簽署保密協議後提供。
K
KV 快取KV cache
Transformer 模型為上下文中每個 token 儲存的鍵與值，使模型在生成每個新 token 時不必重新計算。KV 快取會隨上下文長度與並行請求數增加，因此規劃推論容量時，除了權重之外，也必須為快取保留 GPU 記憶體；請參閱用於 AI 推論的 GPU 伺服器。
KYC
認識客戶：供應商為確認客戶身分、客戶由誰擁有與控制，以及由誰代表客戶簽約而進行的查核。在 1Legion，實際使用伺服器的公司須在簽約前填寫客戶開戶與盡職調查表單，其中包括其實質受益人；請參閱採購方式。
L
液冷Liquid cooling
以液體而非空氣帶走熱量。晶片直接液冷以泵浦將冷卻液送經 GPU 與 CPU 上的冷板，GB300 NVL72 等機櫃級系統必須採用；1Legion 的 HGX B300 伺服器目前則採用氣冷；請參閱我們的資料中心。
M
代管 KubernetesManaged Kubernetes
一種服務：由供應商安裝、維運、升級並監控 Kubernetes 叢集，並負責待命支援，您則在叢集上執行自己的工作負載。1Legion 會將它安裝在您的專屬伺服器上，並提供代管 Slurm 作為替代方案；請參閱代管 Kubernetes。
MTU
最大傳輸單位：網路鏈路在不分割的情況下所能承載的最大封包。標準乙太網路使用 1,500 位元組；資料中心網路常使用 9,000 位元組的巨型訊框，以降低每個封包的額外負擔；我們的 HGX B300 規格書則在南北向網路上設定 MTU 9000；請參閱儲存與網路。
N
NCCL
NVIDIA Collective Communications Library（NVIDIA 集合通訊函式庫），透過 NVLink、InfiniBand 與乙太網路，在多顆 GPU 之間執行 all-reduce、all-gather 等集合通訊運算。PyTorch 等框架以它進行分散式訓練；交付前，HW-1 測試會以 nccl-tests 量測 NCCL 輸送量；請參閱燒機與驗收。
新興雲端服務商Neocloud
專精於 AI GPU 運算的雲端服務商，通常提供專屬或裸機容量，有別於通用型的超大規模雲端。對於想成為新興雲端服務商的公司，1Legion 提供主機代管與 24/7 維運，並帶來客戶；請參閱主機代管與維運。
南北向網路North-south network
將叢集連接至儲存、叢集外部服務與網際網路的網路，相對於 GPU 節點之間的東西向網路。我們的 HGX B300 規格書建議每個節點 400 Gb/s，儲存葉交換器不超額訂閱，GPU 葉交換器的超額訂閱比低於 4:1；請參閱儲存與網路。
NVLink
NVIDIA 的 GPU 對 GPU 直接互連技術。第五代 NVLink 為每顆 Blackwell GPU 提供 1.8 TB/s 的頻寬，連接其 NVLink 網域中的其他 GPU；相較之下，PCIe Gen6 x16 連線為 256 GB/s；請參閱 NVIDIA HGX B300。
NVSwitch
NVIDIA 的交換晶片，連接多顆 GPU 的 NVLink 連接埠，讓任一顆 GPU 都能以完整的 NVLink 頻寬存取其他任一顆 GPU。HGX 基板搭載 NVSwitch 晶片，連接板上的八顆 GPU；GB300 NVL72 透過 NVLink 交換器托盤連接 72 顆 GPU；HW-4 測試則以 nvbandwidth 檢查連結數量與頻寬；請參閱燒機與驗收。
O
P
PCIe 伺服器PCIe server
GPU 以擴充卡形式安裝在 PCI Express 插槽、而非以 SXM 模組安裝在 HGX 基板上的伺服器，因此 GPU 之間透過 PCIe 與網路通訊，而不是透過完整的 NVLink 網域。1Legion 出租的 PCIe 伺服器中，RTX PRO 6000 Blackwell 與 L40S 以整台 8-GPU 伺服器出租，RTX 4000 Ada 與 RTX A4000 則以 4-GPU 伺服器出租；請參閱 GPU 伺服器。
事後檢討報告Postmortem
事件發生後撰寫的書面檢討，說明時間軸、根本原因、影響，以及防止再次發生的行動。每次發生影響客戶的事件後，1Legion 會在 7 個日曆天內提交事後檢討報告；請參閱維運承諾。
Q
隔離Quarantine
將可疑節點移出服務，在修復或更換並重新測試之前，不讓任何工作負載在其上執行。發生致命 GPU 故障（XID 79、XID 48、雙位元 ECC 錯誤與列重新對應失敗）時，1Legion 會立即隔離硬體，並將疑似發生靜默資料損毀的節點維持在隔離狀態；請參閱維運承諾。
R
機櫃密度Rack density
資料中心能供應給單一機櫃、並能以散熱方式移除的功率，以 kW 計。這是 GPU 託管的關鍵數字：我們以每個 HGX B300 節點約 14 kW 進行規劃，1Legion 也要求每個機房在合約中訂明每個機櫃的最大 kW 數；請參閱主機代管與維運。
軌道最佳化叢集網路Rail-optimized fabric
一種叢集網路：每台伺服器中第 n 號 GPU 的網路介面都連接到同一台葉交換器（稱為一條軌道），使不同伺服器中相同編號的 GPU 之間的流量只需經過單一交換器。我們的 GPU 叢集採用軌道最佳化、完全無阻塞的東西向網路。
現場代操作Remote hands
代替伺服器擁有者對伺服器進行實體作業的資料中心技術人員，例如更換硬碟、重新插拔線纜或置換零件。1Legion 承諾在 45 分鐘內讓機房工程人員或現場代操作人員投入處理故障；請參閱維運承諾。
RoCEv2
RDMA over Converged Ethernet 第 2 版：以 UDP/IP 封包承載的遠端直接記憶體存取，因此能在乙太網路中路由。它需要無損或具備壅塞控制的網路；我們的 HGX B300 規格書要求南北向網路必須支援 RoCEv2；請參閱儲存與網路。
RPKI
Resource Public Key Infrastructure（資源公開金鑰基礎建設）：稱為路由來源授權（ROA）的簽章紀錄，載明哪個 ASN 可以作為某個 IP 前綴的來源，讓路由器能拒絕遭劫持或錯誤的路由。我們的邊緣網路在宣告客戶自有的前綴時，會遵循 RPKI ROA；請參閱儲存與網路。
S
SHARP
NVIDIA 的 Scalable Hierarchical Aggregation and Reduction Protocol（可擴充階層式聚合與歸約協定），在網路交換器內部而非 GPU 上執行 all-reduce 等歸約運算。它在 NVIDIA Quantum InfiniBand 交換器中運作，也以 NVLink SHARP 的形式在 NVSwitch 中運作；在叢集網路支援的情況下，HW-1 測試會使用它；請參閱燒機與驗收。
靜默資料損毀Silent data corruption
一種會產生錯誤結果、卻不會回報任何錯誤的硬體故障，例如由有缺陷的 GPU 或記憶體單元造成。由於系統不會當機，只能透過檢查結果發現；1Legion 會將任何疑似發生此問題的節點維持在隔離狀態；請參閱維運承諾。
Slurm
開源的工作負載管理器，可在叢集中將批次作業排入佇列並進行排程，廣泛用於高效能運算與大型訓練作業。1Legion 提供代管 Slurm，作為代管 Kubernetes 的替代方案。
SOC 2
一種鑑證報告：由獨立稽核人員依據 AICPA 信任服務準則（Trust Services Criteria）檢視服務機構的控制措施；Type 2 報告還會測試這些控制措施在一段期間內的運作情形。我們正朝取得 SOC 2 與 ISO 27001 努力。我們目前的安全文件可在簽署保密協議後提供。
Spectrum-X
NVIDIA 用於 AI 的乙太網路平台，結合 NVIDIA Spectrum 交換器與 NVIDIA SuperNIC，為 RoCE 流量加入自適應路由與壅塞控制。我們的 HGX B300 規格書建議東西向網路採用 Spectrum-X 或 Broadcom Tomahawk 6；請參閱 GPU 叢集。
T
照付不議Take-or-pay
一種合約：買方承諾在整個合約期內為一定數量的容量付費，無論是否全部使用，以換取專為其保留的容量。1Legion 的 GPU 伺服器合約讓雙方承諾 36、48 或 60 個月的合約期，採單一固定費率，在支付預付款後按月計費；請參閱採購方式。
Tensor 核心Tensor core
NVIDIA GPU 內部執行矩陣乘積累加運算（神經網路的核心數學運算）的單元，輸送量遠高於通用的 CUDA 核心。每一代都加入更低精度的格式：Hopper 與 Ada Lovelace 加入 FP8，Blackwell 則加入 FP6 與 FP4；請參閱 GPU 伺服器。
Tier III
Uptime Institute 針對「可同時維護」資料中心所訂的等級：電力與散熱路徑上的任何元件，都能在不關閉 IT 設備的情況下停用，以進行計畫性維護。1Legion 要求各機房在簽署保密協議後提供 Tier III 設計文件，並準確說明所持有的任何 Uptime Institute 認證；請參閱安全與合規。
IP Transit 供應商Transit provider
將客戶網路連接至網際網路其餘部分，並透過 BGP 在客戶網路與其他網路之間傳送流量的網路營運商。我們的 HGX B300 規格書採用兩家獨立的 IP Transit 供應商，每條線路 100 Gb/s，並經由實體上相互分離的路徑連接；請參閱儲存與網路。
V
Vera Rubin
NVIDIA 接續 Blackwell 的平台，將 Rubin GPU（288 GB HBM4）與 Vera CPU 搭配，並以 Vera Rubin NVL72 機櫃與 8-GPU HGX Rubin NVL8 伺服器兩種形式推出。1Legion 已訂購 Rubin 伺服器，現正接受預訂；請參閱 NVIDIA Vera Rubin。
X
XID 錯誤XID error
GPU 發生故障時，NVIDIA 驅動程式寫入系統日誌的錯誤代碼，依類型編號。XID 79（GPU 已從匯流排脫離）與 XID 48（雙位元 ECC 錯誤）屬於致命錯誤；XID 13 與 XID 31 則常由應用程式引起，因此 1Legion 會在這類錯誤重複發生、超過約定次數時採取行動；請參閱維運承諾。