AWS re:Invent 2024 — AI 基础办法架构

目录


  
从 3 颗大芯片说起

要说清楚亚马逊云科技 re:Invent 2024 中所发布的开始辈的 AI 基础办法架构，首先需要从云盘算数据中心的 3 颗大芯片说起。它们分别是：

• Gravition4 CPU
  
• Nitro5 DPU
  
• Trainium2 “GPU”
  

从下文所示的亚马逊云科技芯片自研路线图可见，自 2013 年发布了完全自研的第一代 Nitro 芯片以来，到近两年最新发布的 Gravition4 和 Trainium2，亚马逊云科技已经成为了全球范围内屈指可数的拥有完全自研 CPU、DPU、GPU 这 3 颗云盘算数据中心大芯片能力的云盘算厂商。
众所周知，芯片硬件，尤其是 3 颗大芯片的研发投入每每是天文数字，而且研发路径艰难且漫长。那么，为什么亚马逊云科技始终对峙芯片自研路径不放弃呢？笔者认为主要有以下 3 点原因：

• 创新：硬件创新是软件创新、服务创新的基石，亚马逊云科技不会让硬件成为了创新的瓶颈。
  
• 高效：亚马逊云科技提供的云服务持续领先，只有自己才气完全搞懂自身的需求，自研硬件使其得以高效的满足自身需求并推动创新技能的落地。
  
• 低成本：亚马逊云科技全球数据中心结构规模巨大，每年从芯片厂商采购 3 颗大芯片所投入的成本量级已经足够支持自研团队，自研生产芯片供应链可以更极致的压低成本，提供更具有价格竞争力的优质服务。
  

Graviton 4

Graviton 是基于 ARM 架构的 CPU 芯片，第一代于 2018 年推出，而最新一代的 Graviton4 于 2023 re:Invent 发布，到 2024 年 7 月为止，已经完成了大规模部署。近两年以来，亚马逊云科技 50% 的新增 CPU 容量都已经运行在了 Graviton 上，为用户提供可选的更高效的 Amazon EC2 实例类型。

Graviton4 接纳了当前开始辈的 ARM Neoverse V2 架构，是业界最早支持 ARM v9 架构的芯片之一。

• 在盘算焦点方面，Graviton4 的 CPU Cores 数目已经到了 96 个；
  
• 在高速缓存方面，Graviton4 的每个 Core 的 L2 cache 扩大了 100% 到 2MB，L2 cache 总量达到了 96 * 2MB = 192MB；
  
• 在内存带宽方面，Graviton4 同时支持 12 通道的 DDR5-5600，内存带宽提升了 75%，峰值带宽可以达到 537.6GB/s；
  
• 在高速接口方面，Graviton4 支持高达 96 通道的 PCIe 5.0 高速接口，更好的满足了云盘算数据中心和云存储的应用场景。
  
• 在能源功耗方面，Graviton4 的盘算实例在同等性能下可以减少 60% 的能耗。
  

通过完全自研的、省去了中心商的 Graviton4 CPU，亚马逊云科技可以在一台同规格的盘算服务器上提供 3 倍的 vCPU 焦点数目，可以创建出更大规格的、更多数目的、更高性能的 EC2 盘算实例，以此来客户提供了最佳的规格灵活性和成本效益。

另外，Graviton CPU 除了可以提供与 x86 架构相当的性能之外，也并不仅满足于以 Benchmark 跑分为目的。相对的，而是更加关注真实工作负载类型的性能数据来作为 CPU 微架构计划和演进的指标，例如：焦点目的从 Benchmark 中的 L2/L3 Cache 优化到实际工作负载的分支猜测器的优化。典范的结果包括 Web Application、Database Application、Java Application 等等云上广泛部署的真实负载性能分别有了 30%~45% 的提升。

Nitro 5

虽然比力惋惜在今年的 2024 re:Invent 上没有看见 Nitro 6 的发布，但 Nitro5 在保障云基础办法全链路安全性上的创新实践依旧令人面前一亮。
Nitro 芯片作为天下上最早发布的 DPU 之一，其旨在实现 Network、Storage、Hypervisor、Security 等虚拟化技能方面的 Workload offloading，消除了传统虚拟化技能对 CPU 资源的性能开销。同时还集成了多种功能，包括 Security Root 信托根、内存掩护、安全监控等，以此来加强 Amazon EC2 实例的高性能和高安全性。在文章《看 AWS 怎样通过 Nitro System 构建竞争优势》中我们已经详细先容过 Nitro 芯片以及 Nitro System 的演进历史和计划思路，先不再赘述。

本文中我们主要关注 Nitro 已经成为了整个亚马逊云盘算平台的信托根！具体而言，Nitro 提供了以下安全能力：

• Nitro Security Chip：随着更多的功能被卸载到专用硬件设备上，Nitro Security Chip 提供了面向专用硬件设备及其固件的安全防护能力，包括限定云平台维护职员对设备的访问权限，消除人为的错误操作和恶意窜改。
  
• Nitro TPM（Trusted Platform Module，可信平台模块）：支持 TPM 2.0 标准，Nitro TPM 允许 EC2 实例生成、存储和使用密钥，继而支持通过 TPM 2.0 认证机制提供实例完整性的加密验证，能够有效地掩护 EC2 实例，防止非法用户访问用户的个人隐私数据。
  
• Nitro Enclaves：为了进一步保障 EC2 用户的个人信息掩护及数据安全，Nitro Enclaves 基于 Nitro Hypervisor 进一步提供了创建 CPU 和 Memory 完全隔离的盘算环境的能力，以掩护和安全地处置惩罚高度敏感的数据。
  

我们知道 “安全” 对于公有云而言至关紧张，由于这里面涉及到 “贸易可信赖” 层面的问题。安全问题又可以细分为多个不同的维度，粗略的可以分为：软件安全、硬件安全、供应链安全、网络安全等等。
而 Nitro 办理了就是其中最紧张的硬件安全部分。那么，为什么说对于公有云而言硬件安全非常紧张呢？笔者认为有以下 2 点原因：

• 一方面，基于 Nitro DPU，亚马逊云已经将 Network、Storage、Hypervisor 这 3 大模块的 Workload offloading 到了硬件上，继而实现硬件层面的完全 Multi-tenant 隔离以及性能加速，所以这些 workload 的安全需求也随着一并卸载到了硬件之上。
  
• 另一方面，亚马逊云作为全球最大规模的云盘算厂商，其硬件服务器的存在显着的标准化采购成本效益，当部署了海量的同型号服务器时，那么单一的故障或安全隐患也会造成大面积的风险。
  

所以，Nitro 为了确保整个硬件供应链的安全性，从芯片制造阶段开始，到硬件服务器的制造、组装、物流、上架、初始化、引导启动操作系统的全流程中，Nitro 就对每个硬件组件进行加密认证。插入了 Nitro DPU 的服务器以一种非常干净的、高内聚的方式提供了可信根安全验证功能，从，它完全隐蔽了内部的安全校验细节，具有良好的 Smart Endpoint 特性。

在 2024 re:Invent 中，我们看到亚马逊云极致的将 Nitro DPU 与 Graviton CPU 之间的 PCIe 链路都进行了加密，创建了一个相互锁定的信托网络，使 CPU 到 CPU、CPU 到 DPU 的所有连接都由硬件提供安全掩护。

Trainium 2

Trainium2 在 2023 re:Invent 上一经发布就引起了行业的轰动，由于 Trainim2 的本质就是一个用于 AI 模型训练和推理的 “GPU” 加速器芯片，并且从公布的技能参数来看已然有望正面竞争 Nvidia 的 Hopper H100 GPU。

• 盘算能力：每颗芯片提供 1.3 FP8 PetaFLOPS 性能，支持 BF16 和 FP8 精度。
  
• 存储性能：搭载 96GB HBM3，提供高达 46TB/s 的带宽。
  
• 扩展性：通过 NeuronLink 网络实现多芯片互连，支持多达 64 芯片的服务器配置，并扩展到超大规模集群。
  

为应对大模型训练的需求浪潮，Trainium2 是亚马逊云科技专为超过 1 千亿个参数大模型的深度学习训练而打造的盘算芯片，履历了 Inferentia1、Trainium1、Inferentia2 等迭代。
Inferentia1：于 2019 年发布，是一款专为机器学习推理而计划的芯片，应用于 Amazon SageMaker 托管实例中。Inferentia1 具有 4 个 NeuronCore（神经元焦点），包括 ScalarEngine 和 VectorEngine，类似于 Nvidia GPU 中的 CUDA 焦点。还包括了 TensorEngine，用于加速矩阵数学，类似于 Nvidia GPU 中的 TensorCore。
Inferentia1 的 NeuronCore-v1 内核在 FP16/BF16 粒度下提供 16 TeraFLOPS 的性能。与 GPGPU 相比，Inferentia 芯片针对特定工作负载进行了专门优化。它具有大规模并行处置惩罚能力，可同时处置惩罚数百万个低精度运算。在数据中心环境下，Inferentia 提供了媲美 GPU 的性能，但功耗更低、成本更优。
Trainium1：于 2020 年发布，使用 NeuronCore-v2 焦点，添加了 32GB HBM（高带宽内存）堆叠 DRAM 内存以进步带宽。Trainium1 相较于 Inferentia1 可能减少了 NeuronCore 数目，但在每个焦点内的 ScalarEngine、VectorEngine 和 TensorEngine 引擎数目增加了一倍。别的，Trainium1 引入了称为 GPSIMD 引擎的通用处置惩罚器，可以直接使用 C/C++ 进行寻址。
Inferentia2：于 2022 年发布，基本上是 Trainium1 的变体，通过保存 HBM 带宽并可能未激活某些元件来适应推理工作负载。其架构与 Trainium1 相似，但具有更少的 NeuronLink-v2 互连端口。Inferentia2 被亚马逊云广泛应用于 IoT 物联网、语音识别等浩繁传统 AI 应用及 Gen AI 应用中。
Trainium2：于 2023 年发布，下图可见 Trainium2 接纳了先辈的封装技能，将盘算芯片和（HBM）模块集成在一个紧凑的封装（package）内。具体而言，每个 Trainium2 单卡内封装了 2 个 Trainium2 盘算焦点，而每个焦点旁边都配备了 2 块 96GB HBM 内存模块，从而实现了盘算和内存的无缝集成。这种先辈的封装计划克服了芯片尺寸的工程极限，最大限度地缩小了盘算和内存之间的距离，使用大量高带宽、低耽误的互连将它们连接在一起。这不仅降低了耽误，还能使用更高效的协议交换数据，进步了性能。
在盘算焦点方面，Trainium2 由少量大型 NeuronCore 组成，每个 NeuronCore 内部集成了张量引擎、矢量引擎、标量引擎和 GPSIMD 引擎，各司其职协同工作。这种计划思路与传统 GPGPU 使用大量较小张量焦点形成鲜明对比，大型焦点在处置惩罚 Gen AI 工作负载时能够有效减少控制开销。

• 张量引擎：作为焦点盘算单元，以 128×128 脉动阵列的情势，从 SRAM 缓冲区网络输入并输出结果到部分和 SRAM 缓冲区，承担了现代 LLM 工作负载中 80%以上的功率和 FLOPS 消耗；
  
• 矢量引擎：专注于加速矢量运算，如在注意层中盘算 softmax 或在层/批处置惩罚规范化层中盘算移动均匀值和方差时发挥紧张作用；
  
• 标量引擎：用于实行元素级操作等简单映射操作；
  
• GPSIMD 引擎：具备图灵完备性，可运行任意 C++代码，方便开辟职员快速实现自定义操作。
  

别的，Trainium2 还创新性地配备了专用的集体通讯焦点，专门用于与其他芯片通讯，实现了盘算通讯重叠且避免了资源争用。这一计划相较于 Nvidia 和 AMD 在通讯与盘算资源共享同一焦点的模式具有显著优势，大大降低了用户在均衡通讯与盘算操作时的复杂性。Trainium2 还将电压调治器移至封装周围，靠近芯片本身，通过更短的导线为芯片供电，减少了电压下降，进步了能效。
最后，亚马逊云科技还公布了下一代 Trainium3 芯片，接纳 3 纳米制程，预计将比 Trainium2 提升 2 倍的性能，改善 40% 的能效，将于 2025 年底推出。

从业务视角来看，Trainium1 针对训练自然语言处置惩罚、盘算机视觉和推荐器模型进行了优化，这些模型常用于文本摘要、代码生成、问题解答、图像和视频生成、推荐和欺诈检测等各种应用步伐。目前大模型参数目级常常到达数千亿乃至数万亿，而 Trainium2 则是面向 AI 大模型的高性能训练芯片，与第一代 Trainium 芯片相比，Trainium2 训练速度提升至 4 倍，能够部署在多达 10 万个芯片的盘算集群中，大幅降低了模型训练时间，同时能效提升多达 2 倍。用于支持 Amazon Q、Amazon Nova、Amazon SageMaker、Amazon Bedrock 等先辈 AI 大模型和机器学习工作负载。
顶级单机运算性能

Trainium2 UltraServer

在先容了 Graviton4、Nitro5 和 Trainium2 这 3 颗大芯片之后，我们把算力视角举高到单台服务器的层级上。
2024 re:Invent 大会中，亚马逊云科技公用盘算高级副总裁 Peter DeSantis 首先引用了一篇 2020 年的论文：“AI 场景中巨量的盘算负载，并不能完全通过 ScaleOut（横向扩展）AI 集群来办理，同样也需要 ScaleUp（纵向扩展）单台 AI 服务器的能力。” 基于如许的计划头脑，Peter 推出了 Trainium2 Server 和 Trainium2 UltraServer。

• Trainium2 Server：是一台集成了 16 块 Trainium2 的服务器，单台 Trainium Server 可提供 20.8 Pflops（万亿次每秒浮点运算）算力和 1.5TB HBM 显存，显存带宽达 46TB/s。可用于训练数十亿参数的大模型。同时为了可靠性，Trainium2 Server 中每一个 “刀片” 的整个结构计划非常简单，前面是 8 块 Nitro 芯片作为网络连接，后面就是两块 Trainium2 芯片提供 AI 加速运算。
  
  
  
  
• Trainium2 UltraServer：则是一体化 64 卡 AI 算力机柜，代表了当前 AI 超级盘算的顶级性能，是运算能力 ScaleUP 的极致表现。Trainium2 UltraServer 高峰时提供 83.2 Pflops 算力（万亿次每秒浮点运算能力），6TB HBM 高速内存，以及 185TB/s 的 HBM 内存带宽。完全可以用来训练和部署目前最大的 AI 模型，包括语言、多模态和视觉模型。
  
  
  
  

那么，为什么必须要 ScaleUp 呢？由于当下先辈的 AI 大模型的参数数目呈指数级增长，如 GPT-4 等模型已经拥有数万亿参数，单一 AI 加速器芯片已经完全无法装下一个模型的体量，集群训练已经成为了常态。虽然，相应的集群训练技能和工具也已然成熟，但 AI 加速器集群之间的数据通讯效率就成为了难以忽视的瓶颈，例如，在训练 GPT-4 如许的超大型模型时，需要耗费巨大的盘算资源和漫长的时间。
在竞争愈发猛烈的 AI 大模型范畴中，怎样能够更高效的、更低成本的、更快速扩容满足算力需求的能力，就成为了赢得市场的关键之一。正如 Peter 所言：“在推动前沿模型的发展的进程中，对于极为苛刻的人工智能工作负载来说，再强大的盘算能力也永远不敷。”
而 ScaleUp 所带来的好处就是为大模型训练提供了更大的训练成功率、更高效的梯度数据汇聚与同步、更低的能源损耗。基于 Trainium2 UltraServer 支持的 Amazon EC2 Trn2 UltraServer 可以提供高达 83.2 FP8 PetaFLOPS 的性能以及 6TB 的 HBM3 内存，峰值带宽达到 185 TB/s，并借助 12.8 Tb/s EFA（Elastic Fabric Adapter）网络进行互连。让 AI 工程师能够考虑在单台 64 卡一体机内以更短的时间训练出更加复杂、更加精准的 AI 模型。

NeuronLink

Trainium2 UltraServer 的浩繁技能细节中不得不提到就是 NeuronLink，它是一种亚马逊云科技专有的网络互连技能，可使多台 Trainium2 Server 连接起来，成为一台逻辑上的服务器。
与传统的高速网络协议不同，NeuronLink 技能可以让 Trainium2 Server 之间直接访问彼此的内存，并提供每秒 2 TB 的带宽，耽误仅为 1 微秒。NeuronLink 技能使得多台 Trainium2 Server 就像是一台超级盘算机一样工作，故称之为 “UltraServer”。“这正是训练万亿级参数的大型人工智能模型所需要的超级盘算平台，非常强大！” Peter 先容道。

AI 超级盘算集群 —— Project Rainier

继续让我们把算力视角进步到集群、到数据中心。在 Peter keynote 的尾声，他提出了构建人工智能基础办法的 2 根支柱：

• ScaleUp：构建更强大的 AI 服务器；
  
• ScaleOut：构建更大规模、更高效率的 AI 服务器集群。
  

在 ScaleOut 层面，亚马逊云科技正在与 Anthropic 合作部署 Rainier 项目，Anthropic 联合创始人兼首席盘算官 Tom Brown 公布下一代 Claude 模型将在 Project Rainier 上训练。
Rainier 项目是一个巨大的 AI 超级盘算集群，包含数十万个 Trainium2 芯片，预计可提供约 130 FP8 ExaFLOPS 的超强性能，运算能力是以往集群的 5 倍多，将为 Anthropic 的下一代 Claude AI 模型提供支持。Rainier 项目将会帮助 Anthropic 的客户可以用更低价格、更快速度使用到更高智能的 Claude AI 大模型服务。
10p10u 网络架构

为了基于 Trainium2 UltraServer 实现 ExaFLOPS 级别的 AI 超级盘算集群，亚马逊云科技专门计划了 10p10u 网络架构。Peter 首先阐明白 AI Network 和 Cloud Network 存在着本质的区别。由于每台 Trainium2 UltraServer 都有近 13TB 的网络带宽，所以需要大规模的、区别于 Cloud Network 的 AI Network 来防止出现瓶颈。

Peter 表现：“我们称之为 10p10u，由于它能够为数千台服务器提供高达 10PB 的网络容量，并且耽误时间低于 10 微秒。10p10u 网络是大规模并行且麋集互连的，而且 10p10u 网络具有弹性，我们可以将其缩小到只有几个机架，也可以将其扩展到跨多个物理数据中心园区的集群，具有良好的弹性。”

SIDR 路由协议

在十万卡、乃至百万卡的 10p10u AI 网络架构中，其规模非常巨大，路由相对复杂。SIDR（Scalable Intent Driven Routing，可扩展意图驱动路由）是亚马逊云科技专为管理这种复杂的 AI 网络架构而计划路由协议，SIDR 开创性的结合了 “集中规划 + 分散实行” 的特性，是一个混淆式的路由协议。该协议使网络能够在不到一秒的时间内响应故障，这比其他方法快十倍。

Amazon Bedrock 新一代 Gen AI 用户界面

那么在云云强大的 AI 基础办法架构中，为亚马逊云科技带来了那些 AI 技能创新呢？Amazon Bedrock 绝对是其中之一。
Amazon Bedrock 是亚马逊云科技在 2023 年发布的一项完全托管服务，让用户在可以不管关心基础办法复杂度的前提下快速使用到全球领先 AI 公司的高性能基础模型，目前支持的 AI 模型已超过 40 个，并且陆续支持了包括：导入定制模型、支持微调、利用自有数据进行检索增强生成（RAG）、全托管 Agent 等多种 AI 大模型功能。
通过 Amazon Bedrock 作为新一代 Gen AI 用户界面，为用户构建 Gen AI 应用步伐提供完整的云上自服务。

在 2024 re:Invent 中，亚马逊云科技基于强大的 Tranium2 Server 推出了 Bedrock 低耽误优化推理功能。

低耽误推理意味着更快的服务反应速度和更好的用户体验，以此可支持更优化的产品服务。其中，广受欢迎的 Llama 模型的 Llama 405B 和Llama 70B 低耽误优化版本，在 Bedrock 低耽误优化推理功能中显现出了逾越其他云提供商的精彩表现。

最后

最后，Peter 在 2024 re:Invent 第一天的 Keynote 中总结：“通过持续在诸如 Nitro、Graviton 和 Tranium2 等范畴的焦点创新投资，亚马逊云科技正在构建更强大的人工智能服务器。而持续的领先，来自于对硬件细节极致的寻求。”
这也是笔者从 2024 re:Invent 大会中最深刻的感受，亚马逊云科技对于其云盘算业务的价值寻求始终围绕着 “弹性、安全、性能、成本、可靠性、可持续性” 这六个方面睁开，作为云盘算范畴的领导者，亚马逊云科技深知自研硬件对于构建创新、高效、低成本的优质云服务至关紧张。对自研硬件设备刚强不移的持续投资，使其得以在猛烈且快速的 AI 赛道上依旧为客户提供高效、低成本的优质服务。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。