AI时代显卡如何选择，B100、H200、L40S、A100、H100、V100 含架构技术和性能对比。
英伟达系列显卡大解析B100、H200、L40S、A100、A800、H100、H800、V100如何选择，含架构技术和性能对比带你办理迷惑。
近期，AIGC范畴呈现出一片繁荣景象，其背后离不开强大算力的支持。以ChatGPT为例，其高效的运行依赖于一台由微软投资制作的超等盘算机。这台超等盘算机配备了数万个NVIDIA A100 GPU，并使用60多个数据中央的数十万个GPU辅助，为ChatGPT提供了强大的算力支持。这种规模的算力部署不仅体现了AIGC技术的先辈性，也预示着人工智能技术未来的发展趋势。这种集成了高性能盘算、大数据处置惩罚和人工智能算法的超等盘算机，将成为推动科技进步的重要引擎。
1.GPU 的焦点架构及参数
在了解 V100、A100、H100 这几款 GPU 的区别之前，我们先来简单了解下 NVIDIA GPU 的焦点参数，这样可以或许更好地资助我们了解这些 GPU 的差别和各自的优势。
CUDA Core：CUDA Core 是 NVIDIA GPU 上的盘算焦点单元，用于执行通用的并行盘算使命，是最常看到的焦点范例。NVIDIA 通常用最小的运算单元表现自己的运算能力，CUDA Core 指的是一个执行基础运算的处置惩罚元件，我们所说的 CUDA Core 数量，通常对应的是 FP32 盘算单元的数量。
Tensor Core：Tensor Core 是 NVIDIA Volta 架构及厥后续架构（如 Ampere 架构）中引入的一种特别盘算单元。它们专门用于深度学习使掷中的张量盘算，如[矩阵乘法]和卷积运算。Tensor Core 焦点特别大，通常与深度学习框架（如 TensorFlow 和 PyTorch）相结合使用，它可以把整个矩阵都载入寄存器中批量运算，实现十几倍的服从提升。
RT Core：RT Core 是 NVIDIA 的专用硬件单元，主要用于加速光线追踪盘算。正常数据中央级的 GPU 焦点是没有 RT Core 的，主要是消费级显卡才为光线追踪运算添加了 RTCores。RT Core 主要用于游戏开发、电影制作和虚拟现实等必要及时渲染的范畴。 V100 是前一代的算力大哥 ，而 H100 则是新一代的大哥，这些架构区别：
Volta 架构：Volta 架构是 NVIDIA GPU 的第六代架构，发布于 2017 年。Volta 架构专注于深度学习和人工智能应用，并引入了 Tensor Core。
Turing 架构：Turing 架构是 NVIDIA GPU 的第七代架构，发布于 2018 年。Turing 架构引入了及时光线追踪（RTX）和深度学习超采样（DLSS）等重要功能。
Ampere 架构：Ampere 架构是 NVIDIA GPU 的第八代架构，2020 年发布。Ampere 架构在盘算能力、能效和深度学习性能方面都有重大提升。Ampere 架构的 GPU 采用了多个[流多处置惩罚器]（SM）和更大的总线宽度，提供了更多的 CUDA Core 和更高的频率。它还引入了第三代 Tensor Core，提供更强大的深度学习盘算性能。Ampere 架构的 GPU 还具有更高的内存容量和带宽，适用于大规模的数据处置惩罚和机器学习使命。
Hopper 架构：Hopper 架构是 NVIDIA GPU 的第九代架构，2022 年发布。相较于 Ampere，Hopper 架构支持第四代 Tensor Core，且采用新型流式处置惩罚器，每个 SM 能力更强。Hopper 架构在盘算能力、深度学习加速和图形功能方面带来新的创新和改进。
1.1 V100 vs A100 vs H100
在了解了 GPU 的焦点参数和架构后，我们接下来的对比明白起来就简单多了。
1.1.1 V100 vs A100
V100 是 NVIDIA 公司推出的[高性能盘算]和人工智能加速器，属于 Volta 架构，它采用 12nm FinFET 工艺，拥有 5120 个 CUDA 焦点和 16GB-32GB 的 HBM2 显存，配备第一代 Tensor Cores 技术，支持 AI 运算。
A100 采用全新的 Ampere 架构。它拥有高达 6912 个 CUDA 焦点和 40GB 的高速 HBM2 显存。A100 还支持第二代 NVLink 技术，实现快速的 GPU 到 GPU 通信，提升大型模型的练习速率。A100 增加了功能强大的新第三代 Tensor Core，同时增加了对 DL 和 HPC 数据范例的全面支持，以及新的稀疏功能，可将吞吐量进一步翻倍。
A100 中的 TF32 Tensor Core 运算提供了一种在 DL 框架和 HPC 中加速 FP32 输入 / 输出数据的简单路径，其运行速率比 V100 FP32 FMA 运算快 10 倍，或者在稀疏性的情况下快 20 倍。对于 FP 16/FP 32 混合精度 DL，A100 的性能是 V100 的 2.5 倍，稀疏性的情况下提高到 5 倍。
在跑 AI 模型时，假如用 PyTorch 框架，相比上一代 V100 芯片，A100 在 BERT 模型的练习上性能提升 6 倍，BERT 推断时性能提升 7 倍。
架构：A100采用了最新的Ampere架构，而V100则采用了前一代的Volta架构。Ampere架构相对于Volta架构具有更高的盘算密度、更多的CUDA焦点和更快的内存带宽，因此A100在盘算能力上更强。
盘算能力：A100的浮点盘算能力达到19.5 TFLOPS（FP32）和156 TFLOPS（TensorFloat-32），而V100的浮点盘算能力为14.1 TFLOPS（FP32）。这意味着A100在雷同的工作负载下可以实现更高的盘算性能。
Tensor Core：A100显卡引入了第三代Tensor Core技术，相较于V100的第二代Tensor Core，A100的Tensor Core在混合精度盘算和矩阵乘法运算方面更加高效。这使得A100在深度学习练习和推理中具有更好的性能优势。
内存容量和带宽：A100显卡拥有40 GB或80 GB的HBM2E高带宽存储器，内存带宽达到1.6 TB/s。而V100显卡则有16 GB或32 GB的HBM2存储器，内存带宽为900 GB/s。A100的更大内存容量和更高带宽可以处置惩罚更大规模的数据集和复杂的盘算使命。
NVLink连接：A100支持第三代NVLink技术，提供了高速的GPU互连通信，可在多个A100显卡之间实现更快的数据传输和并行盘算。而V100则支持第二代NVLink。
1.1.2 A100 vs H100
NVIDIA H100 采用 NVIDIA Hopper GPU 架构，使 NVIDIA 数据中央平台的加速盘算性能再次实现了重大飞跃。H100 采用专为 NVIDIA 定制的 TSMC 4N 工艺制造，拥有 800 亿个 [晶体管]，并包罗多项架构改进。
H100 是 NVIDIA 的第 9 代数据中央 GPU，旨在为大规模 AI 和 HPC 实现相比于上一代 NVIDIA A100 Tensor Core GPU 数量级的性能飞跃。H100 延续了 A100 的主要计划重点，可提升 AI 和 HPC 工作负载的强大扩展能力，并显著提升架构服从。
1.1.3 A800 和 H800
从数字上来看，800 比 100 数字要大，其实是为了合规对 A100 和 H100 的某些参数做了调解。A800 相对比 A100 而言，仅限制了 GPU 之间的互联带宽，从 A100 的 600GB/s 降至 400GB/s，算力参数无变化。而 H800 则对算力和[互联带宽]都进行了调解。
A800 虽然在互联带宽上有所降低，但和 A100 在双精方面算力同等，在[高性能科学盘算]范畴没有影响。
1.1.4 H800 VS H100
作为 H100 的替换品，中国特供版 H800，PCIe 版本 SXM 版本都是在双精度（FP64）和 nvlink 传输速率的削减，其他其他参数和 H100 都是一模一样的。
FP64 上的减弱主要影响的是 H800 在科学盘算，流体盘算，[有限元分析](等超算范畴的应用，深度学习等应用主要看单精度的浮点性能，大部门场景下性能不受影响。而受到影响较大的还是 NVlink 上的削减，但是因为架构上的升级，虽然比不上同为 Hopper 架构的 H100，但是比 ampere 架构的 A800 还是要强上不少的。
1.2 A100 vs H100G细解
1.2.1 新的 SM 架构
H100 SM 基于 NVIDIA A100 Tensor Core GPU SM 架构而构建。由于引入了 FP8，与 A100 相比，H100 SM 将每 SM 浮点盘算能力峰值提升了 4 倍，并且对于之前全部的 Tensor Core 和 FP32 / FP64 数据范例，将各个时钟频率下的原始 SM 盘算能力增加了一倍。
与上一代 A100 相比，采用 Hopper 的 FP8 Tensor Core 的新 Transformer 引擎使大型语言模型的 AI 练习速率提升 9 倍，AI 推理速率提升 30 倍。针对用于基因组学和[卵白质测序]的 Smith-Waterman 算法，Hopper 的新 DPX 指令可将其处置惩罚速率提升 7 倍。
1.2.2 第四代 Tensor Core 架构
Hopper 新的第四代 Tensor Core、Tensor 内存加速器以及许多其他新 SM 和 H100 架构的总体改进，在许多其他情况下可令 HPC 和 AI 性能获得最高 3 倍的提升。
与 A100 相比，H100 中新的第四代 Tensor Core 架构可使每时钟每个 SM 的原始密集盘算和[稀疏矩阵]运算吞吐量提升一倍，考虑到 H100 比 A100 拥有更高的 GPU 加速频率，其甚至会达到更高的吞吐量。其支持 FP8、FP16、BF16、TF32、FP64 和 INT8 MMA 数据范例。新的 Tensor Core 还可以或许实现更高效的数据管理，最高可节省 30% 的操作数传输功耗。
1.2.3 Hopper FP8 数据格式
H100 GPU 增加了 FP8 Tensor Core，可加速 AI 练习和推理。FP8 Tensor Core 支持 FP32 和 FP16 累加器，以及两种新的 FP8 输入范例：E4M3（具有 4 个[指数位]、3 个尾数位和 1 个符号位）和 E5M2（具有 5 个指数位、2 个尾数位和 1 个符号位）。E4M3 支持动态范围更小、精度更高的盘算，而 E5M2 可提供更宽广的动态范围和更低的精度。与 FP16 或 BF16 相比，FP8 可将所必要的数据存储空间减半，并将吞吐量提升一倍。
新的 Transformer 引擎可结合使用 FP8 和 FP16 精度，减少内存使用并提高性能，同时仍能保持大型语言模型和其他模型的精确性。
综合 H100 中全部新的盘算技术进步的因素，H100 的盘算性能比 A100 提高了约 6 倍。起首是 H100 配备 132 个 SM，比 A100 的 108 个 SM 增加了 22%。由于采用新的第四代 Tensor Core，每个 H100 SM 的速率都提升了 2 倍。在每个 Tensor Core 中，新的 FP8 格式和相应的 Transformer 引擎又将性能提升了 2 倍。最后，H100 中更高的时钟频率将性能再提升了约 1.3 倍。通过这些改进，总体而言，H100 的峰值[盘算吞吐量]约莫为 A100 的 6 倍。
1.2.4 NVLink Switch 体系升级
为了加快业务速率，百亿亿次级 HPC 和万亿参数的 AI 模型必要[服务器集群]中每个 GPU 之间高速、无缝的通信，以实现大规模加速。
第四代 NLVink 是一种[纵向扩展互联技术]，当与新的外部 NVLlink [互换机]结合使用时，NVLink Switch 体系现在可以跨多个服务器以每个 GPU 900 GB/s 的双向带宽扩展多 GPU IO，比 PCIe 5.0 的带宽高 7 倍。NVLINK Switch 体系支持多达 256 个相互连接的 H100 构成的集群，且带宽比 Ampere 架构上的 InfiniBard HDR 高 9 倍。
第三代 NVSwitch 技术包括驻扎在节点内部和外部的互换机，用于连接服务器、集群和数据中央情况中的多个 GPU。
节点内的每个 NVSwitch 提供 64 个第四代 NVLink 链接端口，以加速多 GPU 连接。互换机的总吞吐量从上一代的 7.2 Tbits / 秒增加到 13.6 Tbits / 秒。新的第三代 NVSwitch 技术还为多播和 NVIDIA SHARP 网内还原的团体操作提供了硬件加速。
新的 NVLink 互连和基于第三代 NVSwitch 技术的新的二级 NVLink Switches 引入了[地点空间]隔离和保护，使多达 32 个节点或 256 个 GPU 可以或许通过 NVLink 以 2:1 的锥形树状拓扑连接起来。
总结一下，相比 A100，H100 更受欢迎，因为[缓存延迟]更低和盘算服从更高。服从提升 3 倍的情况下，成本只有只有（1.5-2 倍）。从技术细节来说，比起 A100，H100 在 16 位推理速率约莫快 3.5 倍，16 位练习速率约莫快 2.3 倍。
2.目前主流四款GPU详解[A100、H100 、L40S、H200（2024） ]
项目 A100 H100 L40S H200
架构 Ampere Hopper Ada Lovelace Hopper
发布时间 2020 2022 2023 2024
FP64 9.7 TFLOPS 34 TFLOPS 暂无 34 TFLOPS
FP64 向量焦点 19.5 TFLOPS 67 TFLOPS 暂无 67 TFLOPS
FP32 19.5 TFLOPS 67 TFLOPS 91.6 TFLOPS 67 TFLOPS
TF32 向量焦点 312 TFLOPS 989 TFLOPS 183 366* TFLOPS
BFLOAT16 向量焦点 624 TFLOPS 1,979 TFLOPS 362.05 733* TFLOPS
FP16 向量焦点 624 TFLOPS 1,979 TFLOPS 362.05 733* TFLOPS
FP8 向量焦点 不适用 3,958 TFLOPS 733 1,466* TFLOPS
INT8 向量焦点 1248 TOPS 3,958 TOPS 733 1,466* TFLOPS
INT4 向量焦点 暂无 暂无 733 1,466* TFLOPS
GPU 内存 80 GB HBM2e 80 GB 48GB GDDR6 ，带有 ECC 141GB HBM3e
GPU 内存带宽 2,039 Gbps 3.35 Tbps 864 Gbps 4.8 Tbps
解码器 Not applicable 7 NVDEC 7 JPEG Not applicable 7 NVDEC 7 JPEG
最高 TDP 400W 700W 350W 700W
多实例 GPU 最高 7 MIGs @ 10 GB 最高 7 MIGs @ 10 GB each 无 最高 7 MIGs @16.5 GB each
形状尺寸 SXM SXM 4.4“(H) x 10.5” (L), dual slot SXM**
互联技术 NVLink: 600 GB/s PCIe Gen4: 64 GB/s NVLink: 900GB/s PCIe Gen5: 128GB/s PCIe Gen4 x16: 64GB/s bidirectional NVIDIA NVLink®: 900GB/s PCIe Gen5: 128GB/s
服务器平台选项 NVIDIA HGX™ A100-Partner and NVIDIA-Certified Systems with 4,8, or 16 GPUs NVIDIA DGX™ A100 with 8 GPUs NVIDIA HGX H100 Partner and NVIDIA-Certified Systems™ with 4 or 8 GPUs NVIDIA DGX H100 with 8 GPUs 暂无 NVIDIA HGX™ H200 partner and NVIDIA-Certified Systems™ with 4 or 8 GPUs
NVIDIA AI Enterprise Included Add-on 暂无 Add-on
CUDA 焦点数 6,912 16,896 18,176 暂无
2.1 A100（2020）
A100 是 2020 年首次采用 Ampere 架构的 GPU，这种架构带来显著的性能提升。在 H100 发布之前，A100 一览众山小。它的性能提升得益于改进的 Tensor 焦点、更多的 CUDA 焦点数量、更强的内存和最快的 2 Tbps 内存带宽。
针对大型模型提供高达 3 倍的 AI 练习速率
A100 支持多实例 GPU 功能，答应单个 A100 GPU 分割成多个独立的小 GPU，这大大提升了云和数据中央的资源分配服从。A100 在练习复杂的神经网络、深度学习和 AI 学习使命方面仍旧是一个优秀的选择，它的 Tensor 焦点和高吞吐量在这些范畴表现出色。A100 在 AI 推理使命方面表现突出，在语音辨认、图像分类、保举体系、数据分析和大数据处置惩罚、科学盘算场景都有优势，在基因测序和药物发现等高性能盘算场景也都属于优势范畴。
深度学习推理 A100 引入了突破性的功能来优化推理工作负载。它能在从 FP32 到 INT4 的整个精度范围内进行加速。多实例 GPU (MIG) 技术答应多个网络同时基于单个 A100 运行，从而优化盘算资源的使用率。在 A100 其他推理性能增益的基础之上，仅布局稀疏支持一项就能带来高达两倍的性能提升。在 BERT 等先辈的对话式 AI 模型上，A100 可将推理吞吐量提升到高达 CPU 的 249 倍。在受到批量大小限制的极复杂模型（例如用于主动语音辨认用途的 RNN-T）上，显存容量有所增加的 A100 80GB 能使每个 MIG 的大小增加一倍，并提供比 A100 40GB 高 1.25 倍的吞吐量。NVIDIA 产物的出色性能在 MLPerf 推理测试中得到验证。A100 再将性能提升了 20 倍，进一步扩大了这种性能优势。
2.2 H100（2022）
H100 能处置惩罚最具挑战性的 AI 工作负载和大规模数据处置惩罚使命。H100 升级了 Tensor 焦点，显著提高了 AI 练习和推理的速率。支持双精度（FP64）、单精度（FP32）、半精度（FP16）和整数（INT8）盘算负载。
相比 A100，FP8 盘算速率提升六倍，达到 4petaflops。内存增加 50%，使用 HBM3 高带宽内存，带宽可达 3 Tbps，外部连接速率险些达到 5 Tbps。别的，新的 Transformer 引擎使模型转换器练习速率提升高达六倍。
尽管 H100 和 A100 在使用场景和性能特点上有相似之处，但 H100 在处置惩罚大型 AI 模型和更复杂的科学模仿方面表现更佳。H100 是高级对话式 AI 和及时翻译等及时响应型 AI 应用的更优选择。
总之，H100 在 AI 练习和推理速率、内存容量和带宽、以及处置惩罚大型和复杂 AI 模型方面相比 A100 有显著的性能提升，适用于对性能有更高要求的 AI 和科学模仿使命。
2.3 L40S（2023）
L40S 旨在处置惩罚下一代数据中央工作负载，包括生成式 AI、大型语言模型（LLM）的推理和练习，3D 图形渲染、科学模仿等场景。与前一代 GPU（如 A100 和 H100）相比，L40S 在推理性能上提高了高达 5 倍，在及时光线追踪（RT）性能上提高了 2 倍。内存方面，它配备 48GB 的 GDDR6 内存，还加入了对 ECC 的支持，在高性能盘算情况中维护数据完备性还是很重要的。L40S 配备凌驾 18,000 个 CUDA 焦点，这些并行处置惩罚器是处置惩罚复杂盘算使命的关键。L40S 更注重可视化方面的编解码能力，而 H100 则更专注于解码。尽管 H100 的速率更快，但代价也更高。从市场情况来看，L40S 相对更容易获得。综上所述，L40S 在处置惩罚复杂和高性能的盘算使命方面具有显著优势，特别是在生成式 AI 和大型语言模型练习等范畴。其高效的推理性能和及时光线追踪能力使其成为数据中央不可忽视的存在。
2.4 H200（2024）
200 将是 NVIDIA GPU 系列中的最新产物，预计在 2024 年第二季度开始发货。NVIDIA H200 Tensor Core GPU 具有改变游戏规则的性能和内存功能，可增强生成式 AI 和高性能盘算 (HPC) 工作负载。作为首款采用 HBM3e 的 GPU，H200 借助更大更快的内存可加速生成式 AI 和大型语言模型 (LLM) 的运行，同时推进 HPC 工作负载的科学盘算。
NVIDIA H200 和 H100 GPU 采用 Transformer 引擎（FP8 精度），与上一代 GPU 相比，可助力大语言模型的练习速率最高提升至原来的 5 倍。通过结合使用可以或许提供 900GB/s GPU 间互连的第四代 NVLink、PCIe 5.0 以及 Magnum IO™ 软件，小型企业可高效扩展为大规模同一 GPU 集群。这些基础架构技术进步可以或许与 NVIDIA AI Enterprise 软件套件协同发挥作用，让 HGX H200 和 HGX H100 成为卓越的 AI 盘算平台。
NVIDIA H200 基于 NVIDIA Hopper 架构，与 H100 相互兼容，这意味着已经使用先前模型进行练习的人工智能公司将无需更改其服务器体系或软件即可使用新版本。
H200 是首款提供 141 GB HBM3e 内存和 4.8 Tbps 带宽的 GPU，其内存容量和带宽分别险些是 H100 的 2 倍和 1.4 倍。
在高性能盘算方面，与 CPU 相比，H200 能实现高达 110 倍的加速，从而更快地得到结果。在处置惩罚 Llama2 70B 推理使命时，H200 的推理速率是 H100 GPU 的两倍。
运行 GPT-3 等模型时，NVIDIA H200 Tensor Core GPU 的推理性能提高了 18 倍。不仅如此，在其他生成式 AI 基准测试中，还能在 Llama2-13B 上每秒可处置惩罚 12000 个 tokens。
参考链接：
https://www.zhihu.com/question/618932114/answer/3211844003
https://zhuanlan.zhihu.com/p/680317363
https://www.nvidia.cn/data-center/a100/
https://www.nvidia.cn/data-center/h100/
https://www.nvidia.cn/data-center/l40s/
https://www.nvidia.com/en-au/data-center/h200/
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
