規格
| GPU | |
|---|---|
| GPU | NVIDIA A100 80GB，SXM 外形規格 |
| 架構 | NVIDIA Ampere |
| 記憶體 | 80 GB HBM2e |
| 記憶體頻寬 | 2,039 GB/s |
| FP64 | 9.7 TFLOPS |
| FP64 Tensor 核心 | 19.5 TFLOPS |
| FP32 | 19.5 TFLOPS |
| TF32 Tensor 核心 | 密集 156 TFLOPS，稀疏 312 TFLOPS |
| BF16 Tensor 核心 | 密集 312 TFLOPS，稀疏 624 TFLOPS |
| FP16 Tensor 核心 | 密集 312 TFLOPS，稀疏 624 TFLOPS |
| INT8 Tensor 核心 | 密集 624 TOPS，稀疏 1,248 TOPS |
| Multi-Instance GPU | 最多 7 個 10 GB 執行個體 |
| 互連 | NVLink 600 GB/s；PCIe Gen4 64 GB/s |
| 最大 TDP | 400 W（標準配置） |
| 交付時的伺服器配置 | |
|---|---|
| 平台 | NVIDIA HGX A100，8 顆 GPU |
| 每台伺服器的 GPU 記憶體 | 640 GB（8 x 80 GB） |
| GPU 對 GPU | 第二代 NVSwitch、第三代 NVLink，每顆 GPU 600 GB/s，總計 4.8 TB/s |
| FP64，8 顆 GPU | 156 TFLOPS |
| CPU、系統記憶體與儲存 | 依您的需求配置，並在您的提案書中確認 |
| 網路 | |
|---|---|
| 後端與前端網路 | 依您的需求配置，並在您的提案書中確認 |
典型工作負載
- 以針對 Ampere 開發的程式碼進行訓練與微調
- 使用 MIG 分割區進行推論
- FP64 科學運算與模擬
租用專屬 NVIDIA HGX A100 伺服器，搭載八顆 A100 80GB SXM GPU，以 NVLink 與 NVSwitch 互連。A100 伺服器依需求提供，並按您的需求配置，合約期 36、48 或 60 個月。
A100 80GB 適合哪些團隊
A100 80GB 適合具備以下條件的團隊：訓練與推論程式碼以 Ampere 架構開發並完成驗證，且需要八顆以 NVLink 互連、每顆配備 80 GB 記憶體的 GPU。繼續使用 A100，可避免在計畫進行途中於新架構上重新驗證 kernel、數值行為與管線。
它也適合雙精度運算。NVIDIA 標定的 FP64 Tensor 核心輸送量為每顆 GPU 19.5 TFLOPS，8-GPU HGX A100 基板的 FP64 則為 156 TFLOPS。
它的優勢
NVLink 與 NVSwitch
在 HGX A100 基板上，第二代 NVSwitch 為每顆 GPU 提供 600 GB/s 的第三代 NVLink 頻寬，總計 4.8 TB/s。
80 GB HBM2e
每顆 GPU 80 GB，頻寬 2,039 GB/s（NVIDIA 稱之為超過 2 TB/s），每台伺服器 640 GB。
Tensor 核心格式
每顆 GPU 的密集 TF32 為 156 TFLOPS，密集 BF16 或 FP16 為 312 TFLOPS，密集 INT8 為 624 TOPS；啟用稀疏性後加倍。
Multi-Instance GPU
每顆 GPU 最多可分割為七個 10 GB 執行個體，適用於不需要整顆 GPU 的推論與開發工作。
NVIDIA 的 A100 規格列出 Tensor 核心支援 TF32、BF16、FP16 與 INT8，以及 FP64；其中不包括 FP8 與 FP4。在標準配置下，每顆 GPU 的 TDP 為 400 W；NVIDIA 也註明，HGX A100 80GB 的客製散熱方案最高可支援 500 W。
交付時的配置
A100 伺服器以 NVIDIA 的 8-GPU HGX A100 基板為核心建置。其他所有部分，從 CPU、系統記憶體、本機 NVMe 到網路，都依您的需求配置，並在您的提案書中確認。
每台伺服器在交付前都會完成燒機測試，結果載於驗收報告中。若您計畫將多台 A100 伺服器作為一組運作，請在申請中告知我們，讓提案書涵蓋伺服器之間的網路；關於我們如何建置專屬叢集網路，請參閱 GPU 叢集頁面。
租用方式
工作負載與替代方案
A100 80GB 適合每顆 GPU 不超過 80 GB、每台伺服器不超過 640 GB 的訓練與微調、分割為 MIG 執行個體的推論，以及 FP64 模擬。我們的 AI 訓練頁面介紹長時間訓練的檢查點儲存與故障處理。
以 Adam 最佳化器進行混合精度完整訓練，在不計活化值的情況下，每個參數約需 16 至 20 位元組。因此，一台 640 GB 的伺服器約可容納 32B 至 40B 參數模型的訓練狀態；更大的模型則須分片到多台伺服器上，伺服器之間的網路也因此成為您提案書的一部分。
在規劃容量時，70 GB 的權重，四顆 GPU 說明了 80 GB 的 GPU 在載入 70 GB 權重後，留給 KV 快取的空間有多麼有限；基礎模型訓練的瓶頸則說明為何記憶體頻寬與 NVLink 決定訓練輸送量。
對於新專案，HGX B200 提供每顆 GPU 180 GB 記憶體、FP8 與 FP4 支援，以及每顆 GPU 37 TFLOPS 的 FP64 效能；HGX B300 則提供每顆 GPU 270 GB。
買方常見問題
既然已有 Blackwell，為何還要租用 A100？
A100 支援 FP8 或 FP4 嗎？
不支援。NVIDIA 的 A100 規格列出 Tensor 核心支援 TF32、BF16、FP16 與 INT8，以及 FP64。FP8 與 FP4 隨 Blackwell 等後續架構推出。
八顆 GPU 如何互連？
透過 HGX A100 基板上的 NVIDIA NVSwitch。根據 NVIDIA 的資料，每顆 GPU 與其他 GPU 之間有 600 GB/s 的第三代 NVLink 頻寬，總計 4.8 TB/s。
一顆 A100 可以由多個工作負載共用嗎？
可以。Multi-Instance GPU 可將每顆 A100 80GB 分割為最多七個 10 GB 執行個體，因此小型推論或開發作業不需要占用整顆 GPU。
有哪些合約期可選擇？
36、48 或 60 個月，合約期越長，費率越低。您在簽約時支付預付款，之後在整個合約期內支付單一固定月費，且不收取資料傳出費用。