原生鸿蒙AI浓度要爆表了：鸿蒙原生智能加持，华为小艺进化成体系级智能体..
明敏 白交 发自 凹非寺量子位 | 公众号 QbitAI
“鸿蒙原生智能”Harmony Intelligence来了！
一年一度华为开辟者大会上，余承东首次揭秘。
https://img-blog.csdnimg.cn/img_convert/cf644ae8c2247293c57bb0e6e3f52907.png
而在Harmony Intelligence革新下，华为小艺也迎来了庞大升级——
现在，它不仅仅是AI助手，而是体系级智能体。
基于盘古大模子5.0，现在华为小艺现在已掌握万亿级Tokens知识量、支持23类TOP场景、使命成功率达90%。
https://img-blog.csdnimg.cn/img_convert/0b99873781934218d779785f7259341c.png
只需一句话，它就可以实现跨多个应用的规划和使命执行；而要在第三方APP上想要处理文字图表信息，也通通不在话下。
对屏幕上的内容，小艺应对自若。好比有地点信息的情况，就能直接询问导航到这里的时间/间隔，询问附近停车场/地铁站等信息。
https://img-blog.csdnimg.cn/img_convert/a41bbdd250463da63a06c9502203de4a.png
现在，HarmonyOS NEXT已启动面向开辟者和前锋用户的Beta升级，余承东喊话：
星河璀璨，加入鸿蒙正其时！
而小艺作为HarmonyOS NEXT的一部分，它的这次全面升级也透暴露，正式版HarmonyOS NEXT的AI浓度要爆表。
所以，小艺到底完成了哪些本领大升级？
小艺全面升级：体系级智能体
如果说去年留给各人的印象是首个大模子加持的智慧语音助手，那么本年小艺已经成长为一个智能体，体系级别那种。
换言之，就是AI与OS细密融合，本领升级也将更为彻底，同时也可以直打仗达用户侧的需求。
那么基于盘古大模子的升级迭代，小艺本领可以说来了个大升级，在记忆、推理、知识问答等方面的本领大幅提升。
除此之外，还更开放，多达300+的服务通过意图框架接入，这样一来，可以更高效地满意用户需求。
https://img-blog.csdnimg.cn/img_convert/42d56fa955661ca0aa1017c0b1233b18.jpeg
最直观的，就是交互计划——真正意义上操纵体系级别的超级入口。
小艺位于手机屏幕底部导航条，长按导航条就可以随时唤醒小艺；此外还新增拖拽方式，支持全局拖拽文字、图片、文档等内容给小艺，随时让小艺为你智能处理信息。
https://img-blog.csdnimg.cn/img_convert/804430d44089b5da9c5e2e2810607a91.gif
一个具体在办公场景中的例子，好比一则开会关照文本拖拽给小艺，它就能根据关照内容，拉起日历创建行程；再给他一个带表格的图片，他能帮你转成表格文件处理数据……
https://img-blog.csdnimg.cn/img_convert/59f1d3670d3291ab076455c17397135d.gif
除此之外，还可以随时根据屏幕内容跟小艺举行问答、发出指令。
手机真就变成了你的一个办公助手，你不需要在多个应用直接反复横跳操纵，更加专注的在手上的使命，这样零门槛地就感受到大模子所赋予的本领。
而更深层次的升级，是跨设备跨应用的感知规划，完满是个专业又能干的助手了。
一方面，基于融合体系感知的意图本领以及专业知识解析本领，小艺化身华为产品专家，跨各种设别终端来为用户答疑解惑。现在覆盖华为终端1+8设备产品知识，一整个格局打开。
https://img-blog.csdnimg.cn/img_convert/9bc6cfbe7b15514d2be665acdf6c9ee5.png
好比购车前辅助决议，你可以问：问界M7和M5的车型对比；购买之后，也可以提供专业全面的解答。
另一方面在体系内部它能实现跨应用的使命规划与调度，以此来实现更复杂的应用。
要实现这一点，对智能体的挑战并不小。首先它需要有感知和理解本领要精准，不管是对设备、对应用的感知，还是对与用户这边意图、需求的理解，然后再举行多步调的使命规划、工具调度和执行本领。
而在发布会上，小艺为我们展现了这样一个场景。
要跟小同伴一起踢足球，只需要跟小艺说，“发条短信给吴双，告诉他后天下午足球赛的比赛所在”。
接下来全部交给小艺，首先它从日程找到相关的时间所在，然后找到接洽人，并编辑好一条短信内容举行发送。这个过程中，小艺完成了日历、接洽人、短信三个应用的协作。
https://img-blog.csdnimg.cn/img_convert/7911b43a2c7351942c7a99cbaf891c7b.gif
最后，面对用户更多个性化的场景和需求，小艺还搞了一波大的——
更多生态应用和服务，可以通过意图框架，接入小艺智能体，提供更加天然高效的用户体验。
换言之，它联合开辟者以及生态同伴一起，人多气力大，就不信这样还不够懂你。
https://img-blog.csdnimg.cn/img_convert/cdefc2020fce91caddb543973d32583d.png
好比出行类APP接入意图框架之后，小艺就能帮助规划行程，自动订机票，到出发时及时信息同步，以及之后本地“衣食住行”服务。
https://img-blog.csdnimg.cn/img_convert/26a80f8e757668a29054cf7765ef36d7.gif
以往智能体最多可能只停留在打开APP这一步调，但现在同生态同伴互助，小艺能贯穿整个出行场景全流程，「最后一公里」也全部买通。
接下来小艺还将会接入更多行业知识和应用功能，与更多开辟者一起打造出行、运动、娱乐、生存、办公等行业智能体，一起为消耗者提供各个专业领域的服务，实现精准保举和服务闭环。
小艺如何做到？
一系列本领升级背后，关键题目是，小艺如安在短短1年时间内升级成为智能体？
现在，业内已经逐渐达成一个共识：大模子重塑终端，智能体必不可少。
这是因为在现实应用场景中，如果仅依靠大模子自身的智力水平，其本领肯定非常有限。好比在知识领域，知识增强方法已经成为一个研究热门，这是让大模子更高效拓展知识水平的方法之一。
除了知识拓展外，智能体构建还需要考虑对物理世界的感知与理解、对复杂使命的拆解与执行等。
具体来看小艺的技能升级门路，其实主要关注了四个方面：
[*]底层模子
[*]智能原生体系深度整合
[*]端云协作
[*]开放生态
首先在模子层面，它依托的盘古大模子在本次HDC上已完成全新升级。
在盘古大模子加持下，小艺在多模态理解生成上变得更强，并能完成复杂逻辑推理。
其次，HarmonyOS本身也更加原生智能化。
在最新发布中，华为公布通过软硬芯云整合，HarmonyOS NEXT构建了全新鸿蒙原生智能架构。它基于华为自研的全栈硬件与基础办法，构建了端云协同的算力调度体系和推理框架，让AI大模子运行地更加高效，支持更安全的隐私保护。
https://img-blog.csdnimg.cn/img_convert/7ac47b87bb8a98e9569e6614bf2f9096.png
该架构中，统一的AI体系底座为原生智能应用和小艺智能体连续输入AI本领。
它能在OS层提供统一的AI基础模子、数据接入等，同时为OS其他子体系（如媒体子体系、文件子体系等）提供协调一致的智能化改造。
由此，小艺可以具备四方面本领：
[*]感知和记忆
[*]自主规划
[*]工具
[*]行动
感知方面，小艺可以通过HarmonyOS获取到设备在硬件传感器和软件传感器方面的信息，利用多模态大模子理解图文、视频、语音、传感信号等模态信息，并能将这些碎片化的感知信息举行全场景融合。
记忆方面，通过建立一个存储并管理用户信息的记忆体，小艺可以在解答题目、执行操纵时进一步联合用户习惯，给出更具个性化的回答和反馈。
在具体使命上，小艺能根据用户提出的显性或隐式诉求，本身理解、拆解使命，并将一个个子使命编排成链，形成具体的可执行过程。
它可以调用HarmonyOS上的工具和服务。包罗OS体系工具（如日历、计算器等）和第三方服务。
在此基础上，HarmonyOS构建了体系级的意图尺度体系。它能通过多维体系感知、大模子等本领构建全局意图范式，可以更深入理解用户的潜伏意图。
畅想一下，假如想要在飞行途中提前缓存视频，传统智慧助手需要至少3条正确指令才能完成：
1、打开华为视频
2、找到XX视频
3、下载5-8集
但是在意图框架下，这些步调可以省略成一句话：我坐飞机时想要看正在追的剧。
得到用户需求后，体系级智能体可以先在全局范围内检索到用户明天有从北京飞往深圳的航班，根据用户一样寻常习惯，它能从华为视频上找到最近正在追的剧以及进度。因为知道飞行时间为3个小时，剧集每集时长为40分钟，体系智能体管帐算后缓存5机剧集。甚至它会在执行一系列操纵时，确保手机处于WiFi连接状态。
在全局范围内具备更强本领后，底层计算也需要做出相应调解。
华为采用端云协同的方式，让端侧偏重感知执行，云侧偏重规划决议，从而实现了全局化智能。
端云芯片同源，能更有利于端云算力协同，并且能让多设备之间的流转体验更好。
通过实现端云统一的AI计算生态，端云的算子优化可以相互使能或鉴戒。
与此同时，华为还构建了“软硬芯云一体化安全架构”，通过深度整合软件、硬件、芯片与云端各层防护机制，来确保数据、应用和用户交互的安全。
最后，HarmonyOS还构建了开放的生态体系。
通过开放模子开辟部署本领、提供与HarmonyOS深度适配的原子化API接口以及高阶AI体系本领组件（AI控件、意图框架），开辟者可以快速开辟与迭代。
其中，通过控件AI化可将原生鸿蒙AI本领开放给三方应用，更多三方应用调用HarmonyOS NEXT的AI本领，鸿蒙生态也更进一步强大。
https://img-blog.csdnimg.cn/img_convert/57348edf65b86c7a6825ffe30cce562f.png
好比，小艺智能体可以在体系中调用、编排更多服务，而不是仅限于体系应用。现在，支付宝、钉钉、去哪儿、同程观光等都与HarmonyOS睁开互助，能通过小艺为用户更便捷、更智能化提供服务。
终端智能分5级，现在已到L3
以上便是此次小艺智能体升级背后的技能揭秘。
在华为同清华张亚勤院士领导的清华大学智能财产研究院AIR团队联合发布《AI与人协作、服务于人——AI终端白皮书》中提到，AI终端智能化可分为L1-L5级。
https://img-blog.csdnimg.cn/img_convert/ca1f7baa4d9e7abdfac1c28f03ccea33.png
现在可以感知到的是，小艺已经部分达到了L3+水平。
未来，随着大模子、智能体等技能不停发展，终端操纵体系还会更加智能化，HarmonyOS也正在朝着这个方向加速进步。
好比白皮书中提到，更智慧的操纵体系应该是动态的、自主的和自适应的，它将像一个值得信赖的同伴，不停适应用户，满意他们的需求，猜测他们的诉求，并迎合他们的喜好。
在这方面，华为正在不停探索，被LREC-COLING 2024接收的AutoDE方法，它可以或许自动化动态评估AI助手的API调用本领。通过利用LLM来模拟真实用户的交互，该方法可以或许更真实地评估AI助手的本领。
https://img-blog.csdnimg.cn/img_convert/e91f27d6cc7da8c126e1aa2b55cd4177.png
△泉源于论文《Beyond Static Evaluation: A Dynamic Approach to Assessing AI Assistants’ API Invocation Capabilities》
可以看到，华为不仅在探索如何更好优化AI助手，还把智能体理念融入到了AI开辟中。
而在AI驱动下，各个设备之间的接洽也将变得更加细密，“以设备为中心”的交互模式正在向“以场景为中心”转变。
HarmonyOS的1+8+N融合感知不仅可以或许覆盖全场景，而且一直在设备之间的通讯、全面感知和服务流转上不停迭代升级。
联合全新小艺智能体，这不仅能为用户带来更好的连续服务智能体验，也能为生态带来智慧分发入口与新流量。
如今，HarmonyOS NEXT面向开辟者和前锋用户开放Beta，正式版本预计将在年内亮相，届时小艺智能体将一同与各人见面。
在发布会上，华为终端BG首席执行官何刚先生表示，HarmonyOS NEXT诞生在AI大模子时代，能让华为有机会将AI与OS深度联合。
而在大模子重塑终端海潮之下，HarmonyOS也变得更加值得期待。
回看1年以前，小艺作为首个引入盘古大模子本领的终端智慧助手，掀起了AI重塑手机、重塑OS的海潮。
1年时间里，包罗苹果在内，厂商们在AI终端上的比赛更加猛烈。
为什么各人都要去做？
有来自技能驱动的影响，有手机等终端品类再增长的行业发展要求……但更关键的因素在于，大模子对终端OS和智慧助手的重塑，能直接提升每一位用户的体验，更让人们相信如“贾维斯”一般的超级助理真的有望成为现实。
当下，AI已经成为手机市场的最大卖点，每一款新机上市，都不敢不强调它有了哪些AI新功能、调用了哪家大模子。
但这大概还只是开始。
正如最初人们无法想象大模子如何“塞入”终端一样，现在的技能进展和应用生态都还未发展完善，真正意义上的AI OS及设备，仍旧需要厂商们去逐步探索。
其中，自研基因不停提高的华为，无疑是最值得期待的厂商之一。从底层芯片、软件体系到上层算法，华为正在构筑更加开阔和丰富的生态；这种全栈自研也使得华为可以或许将AI与OS的融合更加透彻。再加上背靠环球亿万用户、多年来对终端用户需求的深刻理解，华为的优势不言而喻了。
不过，说一千道一万，该怎么把AI融入到OS里，关键还得看用户的想法。
AI手机火了一年，你对哪个新本领最有feel？缘故原由是什么？还渴望看到哪些大模子玩法来到手机等终端设备上？
接待批评区唠两句~
— 完 —
点这里
页:
[1]