【AI体系】昇腾 AI 架构先容

昇腾 AI 架构先容

昇腾盘算的底子软硬件是财产的核⼼，也是 AI 盘算能⼒的泉源。华为，作为昇腾盘算财产⽣态的⼀员，是底子软硬件体系的核⼼贡献者。昇腾盘算软硬件包罗硬件体系、底子软件和应⽤使能等。
而本书先容的 AI 体系团体架构（如图所示），则是对应与昇腾 AI 财产的全栈架构较为相似。因此这里以昇腾盘算财产作为例子，来以实际工业界盘算财产中的昇腾作为例子举行叙述。其他盘算财产如英伟达、寒武纪、摩尔线程等全栈架构根本与 AI 体系也较为相似。

昇腾盘算财产先容

昇腾盘算财产是基于昇腾系列（HUAWEI Ascend）处理处罚器和底子软件构建的全栈 AI 盘算底子办法、行业应用及服务，包罗昇腾系列处理处罚器、系列硬件、CANN（Compute Architecture for Neural Networks，异构盘算架构）、AI 盘算框架、应用使能、开辟工具链、管理运维工具、行业应用及服务等全财产链。
其生态包罗围绕着昇腾盘算技能和产物体系所开展的学术、技能、公益及贸易运动，产生的知识和产物以及各种互助搭档，重要包罗原始装备制造商 OEM、原始计划制造商 ODM、 独立硬件开辟商 IHV、咨询与办理方案集成商 C&SI、独立软件开辟商 ISV、云服务提供商 XaaS 等。
同时，昇腾的互助搭档体系当中还包罗围绕昇腾相干产物对外提供服务交付的服务类搭档，提供培训服务的人才同盟搭档，提供投融资和运营服务的投融资运营搭档等。昇腾高度器重高校的人才作育和昇腾开辟者的发展，让高校和开辟者成为整个昇腾生态的告急构成部门。
AI 硬件体系

如图所示为华为昇腾系列产物，覆盖边沿推理、云端推理、云端训练三大场景，昇腾盘算的 AI 硬件体系重要包罗有：

• 基于华为达芬奇内核的昇腾系列处理处罚器等多样化 AI 算⼒；
  
• 基于昇腾处理处罚器的系列硬件产物，⽐如嵌⼊式模组、板卡、⼩站、服务器、集群等。
  

昇腾AI产物包罗训练和推理产物，重要产物系列如表所示，昇腾训练产物同时支持训练和推理业务，各个组件支持的产物范围请拜见组件对应文档的产物支持列表。
产物系列产物型号Atlas 200/300/500 推理产物Atlas 200 AI加速模块、Atlas 300I 推理卡（型号：3000）、Atlas 300I 推理卡（型号：3010）Atlas 500 智能小站、Atlas 200 DK 开辟者套件Atlas 200/500 A2推理产物Atlas 500 A2 智能小站、Atlas 200I DK A2 开辟者套件、Atlas 200I A2 加速模块Atlas 推理系列产物（设置Ascend 310P AI处理处罚器）Atlas 300I Pro 推理卡、Atlas 300V 视频剖析卡、Atlas 300V Pro 视频剖析卡、Atlas 300I Duo 推理卡、Atlas 200I SoC A1核心板Atlas 推理服务器系列产物1. 边沿服务器：
Atlas 500 Pro 智能边沿服务器支持插入Atlas 300I 推理卡（型号：3000）、Atlas 300I Pro 推理卡、Atlas 300V 视频剖析卡、Atlas 300V Pro 视频剖析卡使用                                                                                                                                                              
2. 中心推理服务器：
Atlas 800 推理服务器（型号：3000）支持插入Atlas 300I 推理卡（型号：3000）、Atlas 300I 推理卡（型号：3010）、Atlas 300I Pro 推理卡、Atlas 300V 视频剖析卡、Atlas 300V Pro 视频剖析卡、Atlas 300I Duo 推理卡使用
Atlas 800 推理服务器（型号：3010）支持插入Atlas 300I 推理卡（型号：3010）、Atlas 300I Pro 推理卡、Atlas 300V 视频剖析卡、Atlas 300V Pro 视频剖析卡、Atlas 300I Duo 推理卡使用Atlas 训练系列产物Atlas 800 训练服务器（型号：9000）、Atlas 800 训练服务器（型号：9010）、Atlas 900 PoD（型号：9000）、Atlas 900T PoD Lite、Atlas 300T 训练卡（型号 9000）、Atlas 300T Pro 训练卡（型号：9000）Atlas A2 训练系列产物Atlas 800T A2 训练服务器、Atlas 900 A2 PoD 集群底子单元、Atlas 300T A2 训练卡、Atlas 200T A2 Box16 异构子框昇腾产物以昇腾AI处理处罚器的PCle（Peripheral Component Interconnect Express）的工作模式举行区分，分为RC（Root Complex）模式和EP（Endpoint）模式，如果PCle工作在主模式，可以扩展外设，则称为RC模式；如果PCle工作在从模式，则称为EP模式。
PCle工作模式支持的昇腾产物工作模式分析RC模式Atlas 200 AI加速模块、Atlas 200 DK 开辟者套件、Atlas 200I SoC A1、Atlas 500 A2 智能小站、Atlas 200I DK A2 开辟者套件、Atlas 200I A2 加速模块产物的CPU直接运行用户指定的AI业务软件，接入网络摄像头、I2C传感器、SPI表现器等其他外挂装备作为从装备接入产物。EP模式推理产物：Atlas 500 智能小站、Atlas 200 AI加速模块、Atlas 推理系列产物（设置Ascend 310P AI处理处罚器）、Atlas 200I A2 加速模块EP模式通常由Host侧作为主端，Device侧作为从端。客户的AI业务步调运行在Host体系中，昇腾产物作为Device体系以PCIe从装备接入Host体系，Host体系通过PCIe通道与Device体系交互，将AI任务加载到Device侧的昇腾AI处理处罚器中运行。EP模式训练产物：Atlas 训练系列产物、Atlas A2 训练系列产物同上

在异构盘算架构中, 昇腾AI处理处罚器与服务器的CPU通过PCIe总线毗连协同工作，我们一样平常分别称为Device侧和Host侧。
AI 软件体系

如图所示， 从下往上昇腾盘算 AI 底子软件体系重要包罗有：

• 异构盘算架构 CANN 以及对应的驱动、运⾏时、加速库、编译器、调试调优⼯具、开具链 MindStudio 和各种运维管理⼯具等，开放给⼴⼤的开辟者和客户；
  
• AI 盘算框架，包罗开源的 MindSpore，以及各种业界流⾏的框架 PyTorch，作为⽣态的有机构成部门。同时，昇腾盘算财产承袭开放的⽣态创建思绪，⽀持各种盘算框架的对接。
  
• 昇腾应⽤使能 MindX，可以⽀持上层的 ModelArts 和 HiAI 等应⽤使能服务，同时也可以支持第三⽅平台提供应⽤使能服务。
  

⾏业应⽤是⾯向⼲⾏百业的场景应⽤软件和服务，围绕昇腾盘算体系，诞⽣了⼤量精良的应⽤，⽐如互联⽹保举、⾃然语⾔处理处罚、视频分析、图像分类、⽬标辨认、语⾳辨认、呆板⼈等各 Iaas Paas, SaaS 种场景。
昇腾盘算财产也拥抱各种云服务场景，⽀持 laas，SaaS 等多种云服务模式；同时，端边云协同的能⼒，会原⽣的构建在整个技能架构中，推动昇腾盘算成为全场景的 AI 底子办法。

财产代价

以“硬件开放，软件开源，使能互助搭档”的开放⽣态，推动昇腾盘算财产更好地发展。华为聚焦盘算架构、处理处罚器和底子软件的创新与研发。通过⾃有硬件和搭档硬件相联合的⽅式客户提供多样化的算⼒选择。华为基于昇腾系列处理处罚器，通过模组、板卡、⼩站、服务器、集群等丰富的产物形态，打造⾯向“端、边、云” 的全场景 Atlas AI 底子办法⽅案。
同时，华为提供 Atlas 模组、板卡等部件，使能搭档发展基于 Atlas 部件的智能端侧、智能边沿、服务器、集群等 AI 装备。华为提供开源 AI 盘算框架 MindSpore，同时也⽀持业界主流 AI 框架如 TensorFlow、PyTorch、Caffe 、PaddlePaddle 等，同时华为提供模子转换⼯具⽀持主流模子便捷的转换。
昇腾盘算财产发展致⼒于将 AI 新技能的红利带到天下的每个⻆落，让⼈⼈充实享受 AI 带来的精美。在 AI 管理上，华为与⽣态、贸易搭档共同提倡向善、包涵、普惠和负责任的 AI，为⼈类社会发展带来代价：

• ⽤得起：⽆论何⼈，何时，何地，想⽤就⽤，⽆所不及。
  
• ⽤得好：从芯⽚到架构，提供安全可靠的产物和服务，赋能互助搭档和开辟者，做好“⿊⼟地”。
  
• ⽤得放⼼：开放，透明，互助，服从各国法律法规，包管个⼈隐私和数据安全。
  

昇腾 AI 体系架构

昇腾盘算中的硬件体系、底子软件、开辟工具链、AI 盘算框架、应用使能等如图所示，跟全书先容的 AI 体系根本上逻辑符合。
底层的 AI 芯片和布局体系在昇腾 AI 全栈架构中重要指具体的硬件，覆盖了端边云全场景，支持数据中心，边沿和终端测的机动摆设方式。底子软件则是对应本书中 AI 体系的编译以及 AI 盘算架构，使能芯片本领，提供具体的软件盘算本领。再往上的框架层则是包罗 AI 推理引擎、AI 盘算框架。末了上层的应用使能则是针对具体的算法和模子提供的封装等相干的接口。

为满足最大化 AI 开辟和摆设的机动性，昇腾团体 AI 架构依照如下的计划理念。

• 模块化支持端边云场景下的独立摆设
  
• 模块之间具备相互协同本领
  
• 各个层之间⽀持独⽴演进
  

基于统⼀的端边云全场景框架下，与互助搭档⼀起，为终极客户带来的 AI 算⼒平台重要有以四点上风。
超强算⼒

在数据中⼼侧，处理处罚边沿侧汇聚过来的海量数据和满⾜上亿级参数的⼤规模模子的深度学习需求。Atlas 训练卡可为服务器提供320 320 TFLOPS FP16 的⾼算⼒。针对更⼤规模需求，Atlas 集群提供256P ~ 1024P FLOPS FP16总算⼒，在 ResNet-50测试中，基于 ImageNet 数据集，训练时间到达⽬前业界最快的25.9s。在边沿侧，满⾜差别场景的机动轻 25.9s。在边沿侧，满足差别场景的机动轻量级摆设的同时提供了强⼤算⼒。 Atlas 推理卡单卡算⼒达 88 TOPS INT8，并支持多路全⾼清视频及时分析。
⾼算⼒的同时，能效⽐同样关键。在数据中⼼侧，更⾼的能效⽐可⼤幅低沉数据中⼼团体运营本钱。具体来说，Atlas 集群作为业界⾸个全液冷 AI 集群，采⽤板级液冷、柜级⻛液换热器等独特计划，使数据中⼼ PUE（Power Usage Efficiency，能源使⽤服从）<1.1，节省⼤量电费，E 级算⼒集群5年节省电费超1亿元。在边沿侧，模组能效⽐达2 TOPS/W，顺应低功耗和边沿摆设需求。
全栈开放

对峙开源开放原则，⽬的是为了盼望构建精良的财产⽣态，按能⼒分层开放。⾯向差别开辟者提供差别开辟⼯具和套件，使能开辟者满⾜在极简开辟和极致性能两⽅⾯的需求。
⾯向最上层的业务应⽤开辟者，他们把 AI 变成服务，引⼊各⾏各业。对于这类开辟者，MindX 开放⽀持上层的 ModelArts 和 HiAI 等应⽤使能服务，同时也可以⽀持第三⽅平台提供应⽤使能服务；MindX 也渐渐提供 SDK，SDK 是⾯向同⼀类⾏业场景的完备开辟⼯具包和对应的⾏业知识库，让针对⼀类⾏业的开辟履历和⾏业知识可以积淀下来，快速复制。SDK 让开辟者、ISV 只需少少量代码甚⾄不须要代码就可以实现 AI 的功能。
⾯向 AI 模子开辟者，他们专注于算法开辟，基于昇腾的开源框架 MindSpore 、PyTorch、 TensorFlow 和 PaddlePaddle 可以⽀持⾼效开辟，同时华为提供模子转换⼯具⽀持主流模子便捷的转换到昇腾装备下。
向向算子开辟者，提供了 CANN 和 MindStudio 来⽀持底层开辟。基于统⼀编程接⼝Ascend C，实现分层开放能⼒。Ascend C 封装了内存管理、AI 任务管理、AI 任务执⾏、业务流、变乱、图引擎等通⽤接⼝，开辟者只须要把握⼀套 API，就可以全⾯使⽤昇腾硬件的能⼒。同时，将开放情况与底层硬件相解耦，实现后向兼容，可以最⼤程度的掩护开辟者的数字资产。
使能应⽤

最⼴泛的⼀类⾏业应⽤开辟者通常盼望把 AI 当做⼀种服务，直策应⽤在各个⾏业范畴中。这⼀类开辟者⽆需明白背后⽤神经⽹络模子是什么、AI 框架是什么、资源是怎样调治等技能细节。
昇腾应⽤使能 MindX 专⻔为这⼀类的 AI 应⽤开辟者⽽计划。深度学习组件 MindX DL 和智能边沿组件 MindX Edge，⽀持 ModelArts、HiAI Service 及第三⽅应⽤使能平台等多种平台，可以将装备资源、算⼒资源统⼀的抽象、管理，被上层平台所调⽤，如许步调只需关注功能⽽不须要关注硬件的底层设置细节。
除此之外，MindX 还提供优选模子库 ModelZoo 和⾏业 SDK。ModelZoo 办理了模子的选型难、训练难、优化难等标题。SDK 是⾯向同⼀类⾏业场景的完备开辟⼯具包和对应的⾏业知识库，让针对⼀类⾏业的开辟履历和⾏业知识可以积淀下来，快速复制。SDK 让开辟者、ISV 只需少少量代码甚⾄不须要代码就可以实现的功能。
端边云协同

端边云协同，使能全场景 AI 开辟。在硬件层⾯，端边云装备均采⽤统⼀的华为达芬奇架构，CANN 使能各类形态硬件，如⼿机、摄像机，智能汽⻋，⼩站、服务器、集群等。
在软件层⾯，⽀持⼏乎全部主流操纵体系、多种 AI 框架，让开辟者⼀次开辟，端边云全场景都可以机动摆设。同时，端侧的增量数据可以回传云侧实现进⼀步训练优化。云侧再训练后的优化模子可以直接下发端侧，中心⽆需转换。
在架构层⾯，MindSpore 是⾯向端、边、云全场景的 AI 盘算框架，可以实现全场景⾃顺应感知与协同，⽐如模子训练好后，可以根据差别硬件形态⾃顺应⽣成相应⼤⼩的模子。
MindSpore 还⽀持在端侧直接对模子进⾏轻量训练，更新当地的推理参数；如许既掩护了个⼈隐私，又提拔了模子精度，实现模子“私⼈订制”。
昇腾将来猜测

昇腾盘算财产会连续推动多样化异构算力发展。随着 AI 体系架构丰富多样和 AI 应用的大规模推广，昇腾盘算财产会连续的增长多种算力支持。在面对差别的应用场景，充实发挥多种算力的协同效果，到达最优的处理处罚服从和性能。
尤其是多种加速器，好比数据与处理处罚和后处理处罚，多种处理处罚器架构和内核架构等，都大概在昇腾盘算中发挥算力。由应用驱动的盘算架构，将成为昇腾盘算发展趋势。随着财产的连续希望，当规模增大到肯定程度之后，昇腾盘算的底层 AI 体系会进化到更高一层的产物形态。而无论是在数据中心还是边沿场景，以致是端测场景，高集成度的 SoC 体系会成为重要形态之一。
随着异构盘算架构成为主流，可编程性和范畴开辟语⾔也会成为⼀个告急⽅向。复杂的异构体系，将越来越依靠智能化的编译体系来进⾏性能的优化。⽽昇腾盘算体系将围绕以智能编译体系和⾼度⾃动优化的开辟体系作为连续的投⼊。底子软件的智能化程度将得到极⼤的提拔，通过 AI 来开辟 AI 将成为大概。
昇腾盘算财产的⽣态将会连续不绝丰富。更多的⾼性能算法、盘算加速库、SDK、⾏业、开辟语⾔和⼯具、开辟者、产物形态、互助搭档，将会随着昇腾盘算财产的发展⽽快速推进。
昇腾盘算财产将连续推进极浅易⽤的开辟体系和极致性能的应⽤效果。随着盘算本钱和开辟本钱 的降落以及应⽤的快速成熟，在⾏业和⽣活中⼤规模的摆设昇腾盘算体系将成为很快的实际。
昇腾盘算在⾏业中的⼤规模落地，将对社会⽣产⼒产⽣极⼤的推进。我们以为，将来在智能制造、 呆板⼈、假造⼈、内容⽣成、⾃动和辅助驾驶、移动互联⽹、智慧农业、教诲、交通、能源等⾏业，都将受益于昇腾盘算财产所带来的智能化⽔平提拔。
安全和可信已经成为昇腾盘算财产的根本功，将来，安全和可信也依然是刚强的保障。随着⼤规 模的产物化落地，必将出现⼤量的安全寻衅，怎样应对这些寻衅，则会是整个财产的重⼤标题。昇腾盘算将把连续的安全和可信 AI 作为底子，确保 AI 可靠的服务于⼈类。
昇腾盘算财产作为 AI 的基⽯，将以极浅易⽤，让 Al 盘算⽆处不在；以极致性能，让 Al 盘算⽆所不及。昇腾盘算财产将承袭着“把数字天下带⼊每个⼈、每个家庭、每个构造，构建万物互联的智能天下”的理念，与互助搭档和客户⼀起，为精美的 AI 新期间⽽努⼒。
如果您想相识更多AI知识，与AI专业人士互换，请立刻访问昇腾社区官方网站https://www.hiascend.com/大概深入研读《AI体系：原理与架构》一书，这里汇聚了海量的AI学习资源和实践课程，为您的AI技能发展提供强劲动力。不但云云，您另有时机投身于天下昇腾AI创新大赛和昇腾AI开辟者创享日等盛事，发现AI天下的无穷奥秘~

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金