英伟达系列显卡大剖析B100、H200、L40S、A100、A800、H100、H800、V100怎样选择，含架构技术和性能对比带你解决疑惑
近期，AIGC范畴出现出一片繁荣情形，其背后离不开强盛算力的支持。以ChatGPT为例，其高效的运行依赖于一台由微软投资制作的超级盘算机。这台超级盘算机配备了数万个NVIDIA A100 GPU，并利用60多个数据中央的数十万个GPU辅助，为ChatGPT提供了强盛的算力支持。这种规模的算力摆设不仅体现了AIGC技术的先进性，也预示着人工智能技术未来的发展趋势。这种集成了高性能盘算、大数据处理和人工智能算法的超级盘算机，将成为推动科技进步的重要引擎。
1.GPU 的核心架构及参数
在了解 V100、A100、H100 这几款 GPU 的区别之前，我们先来简朴了解下 NVIDIA GPU 的核心参数，如许能够更好地帮助我们了解这些 GPU 的差异和各自的优势。
- CUDA Core：CUDA Core 是 NVIDIA GPU 上的盘算核心单元，用于实行通用的并行盘算使命，是最常看到的核心类型。NVIDIA 通常用最小的运算单元表现本身的运算能力，CUDA Core 指的是一个实行基础运算的处理元件，我们所说的 CUDA Core 数量，通常对应的是 FP32 盘算单元的数量。
- Tensor Core：Tensor Core 是 NVIDIA Volta 架构及其后续架构（如 Ampere 架构）中引入的一种特别盘算单元。它们专门用于深度学习使命中的张量盘算，如[矩阵乘法]和卷积运算。Tensor Core 核心特别大，通常与深度学习框架（如 TensorFlow 和 PyTorch）相联合使用，它可以把整个矩阵都载入寄存器中批量运算，实现十几倍的效率提升。
- RT Core：RT Core 是 NVIDIA 的专用硬件单元，主要用于加速光线追踪盘算。正常数据中央级的 GPU 核心是没有 RT Core 的，主要是消耗级显卡才为光线追踪运算添加了 RTCores。RT Core 主要用于游戏开发、电影制作和假造现实等需要及时渲染的范畴。
NVIDIA GPU 架构的演进：
从上图中就可以看出，V100 是前一代的算力大哥 ，而 H100 则是新一代的大哥，这些架构区别：
- Volta 架构：Volta 架构是 NVIDIA GPU 的第六代架构，发布于 2017 年。Volta 架构专注于深度学习和人工智能应用，并引入了 Tensor Core。
- Turing 架构：Turing 架构是 NVIDIA GPU 的第七代架构，发布于 2018 年。Turing 架构引入了及时光线追踪（RTX）和深度学习超采样（DLSS）等重要功能。
- Ampere 架构：Ampere 架构是 NVIDIA GPU 的第八代架构，2020 年发布。Ampere 架构在盘算能力、能效和深度学习性能方面都有重大提升。Ampere 架构的 GPU 接纳了多个[流多处理器]（SM）和更大的总线宽度，提供了更多的 CUDA Core 和更高的频率。它还引入了第三代 Tensor Core，提供更强盛的深度学习盘算性能。Ampere 架构的 GPU 还具有更高的内存容量和带宽，实用于大规模的数据处理和机器学习使命。
- Hopper 架构：Hopper 架构是 NVIDIA GPU 的第九代架构，2022 年发布。相较于 Ampere，Hopper 架构支持第四代 Tensor Core，且接纳新型流式处理器，每个 SM 能力更强。Hopper 架构在盘算能力、深度学习加速和图形功能方面带来新的创新和改进。
1.1 V100 vs A100 vs H100
在了解了 GPU 的核心参数和架构后，我们接下来的对比明白起来就简朴多了。
1.1.1 V100 vs A100
V100 是 NVIDIA 公司推出的[高性能盘算]和人工智能加速器，属于 Volta 架构，它接纳 12nm FinFET 工艺，拥有 5120 个 CUDA 核心和 16GB-32GB 的 HBM2 显存，配备第一代 Tensor Cores 技术，支持 AI 运算。
A100 接纳全新的 Ampere 架构。它拥有高达 6912 个 CUDA 核心和 40GB 的高速 HBM2 显存。A100 还支持第二代 NVLink 技术，实现快速的 GPU 到 GPU 通信，提升大型模型的练习速度。A100 增加了功能强盛的新第三代 Tensor Core，同时增加了对 DL 和 HPC 数据类型的全面支持，以及新的稀疏功能，可将吞吐量进一步翻倍。
A100 中的 TF32 Tensor Core 运算提供了一种在 DL 框架和 HPC 中加速 FP32 输入 / 输出数据的简朴路径，其运行速度比 V100 FP32 FMA 运算快 10 倍，或者在稀疏性的情况下快 20 倍。对于 FP 16/FP 32 混合精度 DL，A100 的性能是 V100 的 2.5 倍，稀疏性的情况下进步到 5 倍。
在跑 AI 模型时，假如用 PyTorch 框架，相比上一代 V100 芯片，A100 在 BERT 模型的练习上性能提升 6 倍，BERT 推断时性能提升 7 倍。
- 架构：A100接纳了最新的Ampere架构，而V100则接纳了前一代的Volta架构。Ampere架构相对于Volta架构具有更高的盘算密度、更多的CUDA核心和更快的内存带宽，因此A100在盘算能力上更强。
- 盘算能力：A100的浮点盘算能力到达19.5 TFLOPS（FP32）和156 TFLOPS（TensorFloat-32），而V100的浮点盘算能力为14.1 TFLOPS（FP32）。这意味着A100在相同的工作负载下可以实现更高的盘算性能。
- Tensor Core：A100显卡引入了第三代Tensor Core技术，相较于V100的第二代Tensor Core，A100的Tensor Core在混合精度盘算和矩阵乘法运算方面更加高效。这使得A100在深度学习练习和推理中具有更好的性能优势。
- 内存容量和带宽：A100显卡拥有40 GB或80 GB的HBM2E高带宽存储器，内存带宽到达1.6 TB/s。而V100显卡则有16 GB或32 GB的HBM2存储器，内存带宽为900 GB/s。A100的更大内存容量和更高带宽可以处理更大规模的数据集和复杂的盘算使命。
- NVLink连接：A100支持第三代NVLink技术，提供了高速的GPU互连通信，可在多个A100显卡之间实现更快的数据传输和并行盘算。而V100则支持第二代NVLink。
1.1.2 A100 vs H100
NVIDIA H100 接纳 NVIDIA Hopper GPU 架构，使 NVIDIA 数据中央平台的加速盘算性能再次实现了重大飞跃。H100 接纳专为 NVIDIA 定制的 TSMC 4N 工艺制造，拥有 800 亿个 [晶体管]，并包含多项架构改进。
H100 是 NVIDIA 的第 9 代数据中央 GPU，旨在为大规模 AI 和 HPC 实现相比于上一代 NVIDIA A100 Tensor Core GPU 数量级的性能飞跃。H100 连续了 A100 的主要计划重点，可提升 AI 和 HPC 工作负载的强盛扩展能力，并显著提升架构效率。
1.1.3 A800 和 H800
从数字上来看，800 比 100 数字要大，其实是为了合规对 A100 和 H100 的某些参数做了调整。A800 相对比 A100 而言，仅限制了 GPU 之间的互联带宽，从 A100 的 600GB/s 降至 400GB/s，算力参数无变化。而 H800 则对算力和[互联带宽]都进行了调整。
A800 固然在互联带宽上有所降低，但和 A100 在双精方面算力一致，在[高性能科学盘算]范畴没有影响。
1.1.4 H800 VS H100
作为 H100 的更换品，中国特供版 H800，PCIe 版本 SXM 版本都是在双精度（FP64）和 nvlink 传输速率的削减，其他其他参数和 H100 都是千篇一律的。
FP64 上的削弱主要影响的是 H800 在科学盘算，流体盘算，[有限元分析](等超算范畴的应用，深度学习等应用主要看单精度的浮点性能，大部门场景下性能不受影响。而受到影响较大的还是 NVlink 上的削减，但是由于架构上的升级，固然比不上同为 Hopper 架构的 H100，但是比 ampere 架构的 A800 还是要强上不少的。
1.2 A100 vs H100G细解
1.2.1 新的 SM 架构
H100 SM 基于 NVIDIA A100 Tensor Core GPU SM 架构而构建。由于引入了 FP8，与 A100 相比，H100 SM 将每 SM 浮点盘算能力峰值提升了 4 倍，并且对于之前所有的 Tensor Core 和 FP32 / FP64 数据类型，将各个时钟频率下的原始 SM 盘算能力增加了一倍。
与上一代 A100 相比，接纳 Hopper 的 FP8 Tensor Core 的新 Transformer 引擎使大型语言模型的 AI 练习速度提升 9 倍，AI 推理速度提升 30 倍。针对用于基因组学和[蛋白质测序]的 Smith-Waterman 算法，Hopper 的新 DPX 指令可将其处理速度提升 7 倍。
1.2.2 第四代 Tensor Core 架构
Hopper 新的第四代 Tensor Core、Tensor 内存加速器以及许多其他新 SM 和 H100 架构的总体改进，在许多其他情况下可令 HPC 和 AI 性能获得最高 3 倍的提升。
与 A100 相比，H100 中新的第四代 Tensor Core 架构可使每时钟每个 SM 的原始密集盘算和[稀疏矩阵]运算吞吐量提升一倍，思量到 H100 比 A100 拥有更高的 GPU 加速频率，其以致会到达更高的吞吐量。其支持 FP8、FP16、BF16、TF32、FP64 和 INT8 MMA 数据类型。新的 Tensor Core 还能够实现更高效的数据管理，最高可节流 30% 的操作数传输功耗。
1.2.3 Hopper FP8 数据格式
H100 GPU 增加了 FP8 Tensor Core，可加速 AI 练习和推理。FP8 Tensor Core 支持 FP32 和 FP16 累加器，以及两种新的 FP8 输入类型：E4M3（具有 4 个[指数位]、3 个尾数位和 1 个符号位）和 E5M2（具有 5 个指数位、2 个尾数位和 1 个符号位）。E4M3 支持动态范围更小、精度更高的盘算，而 E5M2 可提供更宽广的动态范围和更低的精度。与 FP16 或 BF16 相比，FP8 可将所需要的数据存储空间减半，并将吞吐量提升一倍。
新的 Transformer 引擎可联合使用 FP8 和 FP16 精度，减少内存使用并进步性能，同时仍能保持大型语言模型和其他模型的准确性。
综合 H100 中所有新的盘算技术进步的因素，H100 的盘算性能比 A100 进步了约 6 倍。起首是 H100 配备 132 个 SM，比 A100 的 108 个 SM 增加了 22%。由于接纳新的第四代 Tensor Core，每个 H100 SM 的速度都提升了 2 倍。在每个 Tensor Core 中，新的 FP8 格式和相应的 Transformer 引擎又将性能提升了 2 倍。末了，H100 中更高的时钟频率将性能再提升了约 1.3 倍。通过这些改进，总体而言，H100 的峰值[盘算吞吐量]约莫为 A100 的 6 倍。
1.2.4 NVLink Switch 系统升级
为了加速业务速度，百亿亿次级 HPC 和万亿参数的 AI 模型需要[服务器集群]中每个 GPU 之间高速、无缝的通信，以实现大规模加速。
第四代 NLVink 是一种[纵向扩展互联技术]，当与新的外部 NVLlink [交换机]联合使用时，NVLink Switch 系统现在可以跨多个服务器以每个 GPU 900 GB/s 的双向带宽扩展多 GPU IO，比 PCIe 5.0 的带宽高 7 倍。NVLINK Switch 系统支持多达 256 个相互连接的 H100 组成的集群，且带宽比 Ampere 架构上的 InfiniBard HDR 高 9 倍。
第三代 NVSwitch 技术包罗驻扎在节点内部和外部的交换机，用于连接服务器、集群和数据中央环境中的多个 GPU。
节点内的每个 NVSwitch 提供 64 个第四代 NVLink 链接端口，以加速多 GPU 连接。交换机的总吞吐量从上一代的 7.2 Tbits / 秒增加到 13.6 Tbits / 秒。新的第三代 NVSwitch 技术还为多播和 NVIDIA SHARP 网内还原的团体操作提供了硬件加速。
新的 NVLink 互连和基于第三代 NVSwitch 技术的新的二级 NVLink Switches 引入了[地址空间]隔离和保护，使多达 32 个节点或 256 个 GPU 能够通过 NVLink 以 2:1 的锥形树状拓扑连接起来。
总结一下，相比 A100，H100 更受接待，由于[缓存耽误]更低和盘算效率更高。效率提升 3 倍的情况下，成本只有只有（1.5-2 倍）。从技术细节来说，比起 A100，H100 在 16 位推理速度约莫快 3.5 倍，16 位练习速度约莫快 2.3 倍。
2.目前主流四款GPU详解[A100、H100 、L40S、H200（2024） ]
项目
A100
H100
L40S
H200
架构
Ampere
Hopper
Ada Lovelace
Hopper
发布时间
2020
2022
2023
2024
FP64
9.7 TFLOPS
34 TFLOPS
暂无
34 TFLOPS
FP64 向量核心
19.5 TFLOPS
67 TFLOPS
暂无
67 TFLOPS
FP32
19.5 TFLOPS
67 TFLOPS
91.6 TFLOPS
67 TFLOPS
TF32 向量核心
312 TFLOPS
989 TFLOPS
183
366* TFLOPS
BFLOAT16 向量核心
624 TFLOPS
1,979 TFLOPS
362.05
733* TFLOPS
FP16 向量核心
624 TFLOPS
1,979 TFLOPS
362.05
733* TFLOPS
FP8 向量核心
不实用
3,958 TFLOPS
733
1,466* TFLOPS
INT8 向量核心
1248 TOPS
3,958 TOPS
733
1,466* TFLOPS
INT4 向量核心
暂无
暂无
733
1,466* TFLOPS
GPU 内存
80 GB HBM2e
80 GB
48GB GDDR6 ，带有 ECC
141GB HBM3e
GPU 内存带宽
2,039 Gbps
3.35 Tbps
864 Gbps
4.8 Tbps
解码器
Not applicable
7 NVDEC 7 JPEG
Not applicable
7 NVDEC 7 JPEG
最高 TDP
400W
700W
350W
700W
多实例 GPU
最高 7 MIGs @ 10 GB
最高 7 MIGs @ 10 GB each
无
最高 7 MIGs @16.5 GB each
形状尺寸
SXM
SXM
4.4“(H) x 10.5” (L), dual slot
SXM**
互联技术
NVLink: 600 GB/s PCIe Gen4: 64 GB/s
NVLink: 900GB/s PCIe Gen5: 128GB/s
PCIe Gen4 x16: 64GB/s bidirectional
NVIDIA NVLink: 900GB/s PCIe Gen5: 128GB/s
服务器平台选项
NVIDIA HGX A100-Partner and NVIDIA-Certified Systems with 4,8, or 16 GPUs NVIDIA DGX A100 with 8 GPUs
NVIDIA HGX H100 Partner and NVIDIA-Certified Systems with 4 or 8 GPUs NVIDIA DGX H100 with 8 GPUs
暂无
NVIDIA HGX H200 partner and NVIDIA-Certified Systems with 4 or 8 GPUs
NVIDIA AI Enterprise
Included
Add-on
暂无
Add-on
CUDA 核心数
6,912
16,896
18,176
暂无
2.1 A100（2020）
A100 是 2020 年初次接纳 Ampere 架构的 GPU，这种架构带来显著的性能提升。在 H100 发布之前，A100 一览众山小。它的性能提升得益于改进的 Tensor 核心、更多的 CUDA 核心数量、更强的内存和最快的 2 Tbps 内存带宽。
A100 支持多实例 GPU 功能，允许单个 A100 GPU 分割成多个独立的小 GPU，这大大提升了云和数据中央的资源分配效率。A100 在练习复杂的神经网络、深度学习和 AI 学习使命方面仍然是一个良好的选择，它的 Tensor 核心和高吞吐量在这些范畴表现精彩。A100 在 AI 推理使命方面表现突出，在语音辨认、图像分类、推荐系统、数据分析和大数据处理、科学盘算场景都有优势，在基因测序和药物发现等高性能盘算场景也都属于优势范畴。
- 深度学习推理
A100 引入了突破性的功能来优化推理工作负载。它能在从 FP32 到 INT4 的整个精度范围内进行加速。多实例 GPU (MIG) 技术允许多个网络同时基于单个 A100 运行，从而优化盘算资源的利用率。在 A100 其他推理性能增益的基础之上，仅结构稀疏支持一项就能带来高达两倍的性能提升。在 BERT 等先进的对话式 AI 模型上，A100 可将推理吞吐量提升到高达 CPU 的 249 倍。在受到批量巨细限制的极复杂模型（例如用于自动语音辨认用途的 RNN-T）上，显存容量有所增加的 A100 80GB 能使每个 MIG 的巨细增加一倍，并提供比 A100 40GB 高 1.25 倍的吞吐量。NVIDIA 产品的精彩性能在 MLPerf 推理测试中得到验证。A100 再将性能提升了 20 倍，进一步扩大了这种性能优势。
2.2 H100（2022）
H100 能处理最具挑战性的 AI 工作负载和大规模数据处理使命。H100 升级了 Tensor 核心，显著进步了 AI 练习和推理的速度。支持双精度（FP64）、单精度（FP32）、半精度（FP16）和整数（INT8）盘算负载。
相比 A100，FP8 盘算速度提升六倍，到达 4petaflops。内存增加 50%，使用 HBM3 高带宽内存，带宽可达 3 Tbps，外部连接速度几乎到达 5 Tbps。此外，新的 Transformer 引擎使模型转换器练习速度提升高达六倍。
尽管 H100 和 A100 在使用场景和性能特点上有相似之处，但 H100 在处理大型 AI 模型和更复杂的科学模拟方面表现更佳。H100 是高级对话式 AI 和及时翻译等及时响应型 AI 应用的更优选择。
总之，H100 在 AI 练习和推理速度、内存容量和带宽、以及处理大型和复杂 AI 模型方面相比 A100 有显著的性能提升，实用于对性能有更高要求的 AI 和科学模拟使命。
2.3 L40S（2023）
L40S 旨在处理下一代数据中央工作负载，包罗生成式 AI、大型语言模型（LLM）的推理和练习，3D 图形渲染、科学模拟等场景。与前一代 GPU（如 A100 和 H100）相比，L40S 在推理性能上进步了高达 5 倍，在及时光线追踪（RT）性能上进步了 2 倍。内存方面，它配备 48GB 的 GDDR6 内存，还加入了对 ECC 的支持，在高性能盘算环境中维护数据完整性还是很重要的。L40S 配备超过 18,000 个 CUDA 核心，这些并行处理器是处理复杂盘算使命的关键。L40S 更注重可视化方面的编解码能力，而 H100 则更专注于解码。尽管 H100 的速度更快，但价格也更高。从市场情况来看，L40S 相对更轻易获得。综上所述，L40S 在处理复杂和高性能的盘算使命方面具有显著优势，特别是在生成式 AI 和大型语言模型练习等范畴。其高效的推理性能和及时光线追踪能力使其成为数据中央不可忽视的存在。
2.4 H200（2024）
200 将是 NVIDIA GPU 系列中的最新产品，预计在 2024 年第二季度开始发货。NVIDIA H200 Tensor Core GPU 具有改变游戏规则的性能和内存功能，可加强生成式 AI 和高性能盘算 (HPC) 工作负载。作为首款接纳 HBM3e 的 GPU，H200 借助更大更快的内存可加速生成式 AI 和大型语言模型 (LLM) 的运行，同时推进 HPC 工作负载的科学盘算。
NVIDIA H200 和 H100 GPU 接纳 Transformer 引擎（FP8 精度），与上一代 GPU 相比，可助力大语言模型的练习速度最高提升至原来的 5 倍。通过联合使用能够提供 900GB/s GPU 间互连的第四代 NVLink、PCIe 5.0 以及 Magnum IO 软件，小型企业可高效扩展为大规模统一 GPU 集群。这些基础架构技术进步能够与 NVIDIA AI Enterprise 软件套件协同发挥作用，让 HGX H200 和 HGX H100 成为卓越的 AI 盘算平台。
NVIDIA H200 基于 NVIDIA Hopper 架构，与 H100 相互兼容，这意味着已经使用先前模型进行练习的人工智能公司将无需更改其服务器系统或软件即可使用新版本。
H200 是首款提供 141 GB HBM3e 内存和 4.8 Tbps 带宽的 GPU，其内存容量和带宽分别几乎是 H100 的 2 倍和 1.4 倍。
在高性能盘算方面，与 CPU 相比，H200 能实现高达 110 倍的加速，从而更快地得到效果。在处理 Llama2 70B 推理使命时，H200 的推理速度是 H100 GPU 的两倍。
运行 GPT-3 等模型时，NVIDIA H200 Tensor Core GPU 的推理性能进步了 18 倍。不仅如此，在其他生成式 AI 基准测试中，还能在 Llama2-13B 上每秒可处理 12000 个 tokens。
2.5 B100（2024）
未来
https://www.zhihu.com/question/618932114/answer/3211844003
https://zhuanlan.zhihu.com/p/680317363
https://www.nvidia.cn/data-center/a100/
https://www.nvidia.cn/data-center/h100/
https://www.nvidia.cn/data-center/l40s/
https://www.nvidia.com/en-au/data-center/h200/
更多优质内容请关注公号：汀丶人工智能；会提供一些相干的资源和优质文章，免费获取阅读。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
