规格
| GPU | |
|---|---|
| GPU | NVIDIA A100 80GB，SXM 外形规格 |
| 架构 | NVIDIA Ampere |
| 内存 | 80 GB HBM2e |
| 显存带宽 | 2,039 GB/s |
| FP64 | 9.7 TFLOPS |
| FP64 Tensor Core | 19.5 TFLOPS |
| FP32 | 19.5 TFLOPS |
| TF32 Tensor Core | 稠密 156 TFLOPS，稀疏 312 TFLOPS |
| BF16 Tensor Core | 稠密 312 TFLOPS，稀疏 624 TFLOPS |
| FP16 Tensor Core | 稠密 312 TFLOPS，稀疏 624 TFLOPS |
| INT8 Tensor Core | 稠密 624 TOPS，稀疏 1,248 TOPS |
| Multi-Instance GPU | 最多 7 个 10 GB 实例 |
| 互联 | NVLink 600 GB/s；PCIe Gen4 64 GB/s |
| 最大 TDP | 400 W（标准配置） |
| 交付时的服务器配置 | |
|---|---|
| 平台 | NVIDIA HGX A100，8 块 GPU |
| 每台服务器的 GPU 显存 | 640 GB（8 x 80 GB） |
| GPU 间互联 | 第二代 NVSwitch、第三代 NVLink，每块 GPU 600 GB/s，总计 4.8 TB/s |
| FP64，8 块 GPU | 156 TFLOPS |
| CPU、系统内存与存储 | 按您的需求配置，并在您的方案中确认 |
| 网络 | |
|---|---|
| 后端与前端网络 | 按您的需求配置，并在您的方案中确认 |
典型工作负载
- 使用针对 Ampere 开发的代码进行训练与微调
- 使用 MIG 分区进行推理
- FP64 科学计算与模拟
租用专属 NVIDIA HGX A100 服务器，搭载八块 A100 80GB SXM GPU，通过 NVLink 与 NVSwitch 互联。A100 服务器按需提供，并按您的需求配置，合同期 36、48 或 60 个月。
A100 80GB 适合哪些团队
A100 80GB 适合满足以下条件的团队：训练与推理代码基于 Ampere 架构开发并完成验证，且需要八块通过 NVLink 互联、每块配备 80 GB 显存的 GPU。继续使用 A100，可以避免在项目进行到一半时，在新架构上重新验证 kernel、数值表现与流水线。
它也适合双精度计算。NVIDIA 标称的 FP64 Tensor Core 吞吐量为每块 GPU 19.5 TFLOPS，8-GPU HGX A100 基板的 FP64 则为 156 TFLOPS。
它的优势
NVLink 与 NVSwitch
在 HGX A100 基板上，第二代 NVSwitch 为每块 GPU 提供 600 GB/s 的第三代 NVLink 带宽，总计 4.8 TB/s。
80 GB HBM2e
每块 GPU 80 GB，带宽 2,039 GB/s（NVIDIA 称之为超过 2 TB/s），每台服务器 640 GB。
Tensor Core 数值格式
每块 GPU 的稠密 TF32 为 156 TFLOPS，稠密 BF16 或 FP16 为 312 TFLOPS，稠密 INT8 为 624 TOPS；启用稀疏性后加倍。
Multi-Instance GPU
每块 GPU 最多可分割为七个 10 GB 实例，适用于不需要整块 GPU 的推理与开发工作。
NVIDIA 的 A100 规格列出 Tensor Core 支持 TF32、BF16、FP16 与 INT8，以及 FP64；其中不包括 FP8 与 FP4。在标准配置下，每块 GPU 的 TDP 为 400 W；NVIDIA 也注明，HGX A100 80GB 的定制散热方案最高可支持 500 W。
交付时的配置
A100 服务器以 NVIDIA 的 8-GPU HGX A100 基板为核心构建。其他所有部分，从 CPU、系统内存、本地 NVMe 到网络，都按您的需求配置，并在您的方案中确认。
每台服务器在交付前都会完成老化测试，结果载于验收报告中。如果您计划将多台 A100 服务器组合使用，请在询价时告诉我们，以便方案涵盖服务器之间的网络；关于我们如何构建专属集群网络，请参阅 GPU 集群页面。
租用方式
工作负载与替代方案
A100 80GB 适合每块 GPU 不超过 80 GB、每台服务器不超过 640 GB 的训练与微调、分割为 MIG 实例的推理，以及 FP64 模拟。我们的 AI 训练页面介绍长时间训练的检查点存储与故障处理。
以 Adam 优化器进行混合精度完整训练，在不计激活值的情况下，每个参数约需 16 至 20 字节。因此，一台 640 GB 的服务器约可容纳 32B 至 40B 参数模型的训练状态；更大的模型则须分片到多台服务器上，服务器之间的网络也因此成为您方案的一部分。
在规划容量时，70 GB 的权重，四块 GPU 说明了 80 GB 的 GPU 在加载 70 GB 权重后，留给 KV 缓存的空间有多么有限；基础模型训练的瓶颈则说明为何显存带宽与 NVLink 决定训练吞吐量。
对于新项目，HGX B200 提供每块 GPU 180 GB 显存、FP8 与 FP4 支持，以及每块 GPU 37 TFLOPS 的 FP64 性能；HGX B300 则提供每块 GPU 270 GB 显存。
买方常见问题
既然已有 Blackwell，为何还要租用 A100？
A100 支持 FP8 或 FP4 吗？
不支持。NVIDIA 的 A100 规格列明，Tensor Core 支持 TF32、BF16、FP16 与 INT8，以及 FP64。FP8 与 FP4 随 Blackwell 等后续架构推出。
八块 GPU 如何互联？
通过 HGX A100 基板上的 NVIDIA NVSwitch。根据 NVIDIA 的数据，每块 GPU 与其他 GPU 之间有 600 GB/s 的第三代 NVLink 带宽，总计 4.8 TB/s。
一块 A100 可以由多个工作负载共享吗？
可以。Multi-Instance GPU 可将每块 A100 80GB 划分为最多七个 10 GB 实例，因此小型推理或开发作业无需占用整块 GPU。
有哪些合同期可选择？
36、48 或 60 个月，合同期越长，费率越低。您在签约时支付预付款，之后在整个合同期内支付单一固定月费，且不收取数据传出费用。