大模子智体:最新希望、合作范式、安全与隐私以及未来趋势
24年9月来自西安交大的论文“Large Model Agents: State-of-the-Art, Cooperation Paradigms, Security and Privacy, and Future Trends”。大模子 (LM) 智体由 GPT-4 和 DALL-E 2 等大型底子模子提供支持,代表着朝着实现通用人工智能 (AGI) 迈出了重要一步。LM 智体表现出自主性、具身化和连接性的关键特征,使它们能够在物理世界、虚拟和混淆现实环境中运行,同时与人类、其他智体及其四周环境无缝交互。本文全面概述了 LM 智体的最新希望,重点关注架构、合作范式、安全性、隐私和未来远景。具体来说,首先探索 LM 智体的根本原理,包罗通用架构、关键组件、支持技术和当代应用程序。然后,从数据、盘算和知识的角度讨论面向 LM 智体的连接智能实用协作范式。此外,系统地分析与 LM 智体相关的安全漏洞和隐私泄漏,特殊是在多智体设置中。还探索它们的底层机制,并回首现有和潜在的对策。末了,概述构建强大且安全的 LM智体生态系统的未来研究方向。
如图所示人工智能智体的演进汗青。1)初始阶段:早期人工智能研究主要集中于逻辑推理和基于规则的人工智能智体。2)机器学习(ML)智体阶段:包罗监视学习和无监视学习在内的机器学习推动了人工智能智体的发展。1997 年,IBM 的 Deep Blue 击败了国际象棋世界冠军。3)深度学习(DL)智体阶段:DL 与大数据的结合显著提高了人工智能的性能。2016 年,Deepmind 的 AlphaGo 击败了围棋世界冠军李世石。4)大模子(LM)智体期间:OpenAI 的 ChatGPT 和 GPT-4 等基于 Transformer 的 LM,彻底改变了人工智能智体,开启了 LM 智体期间,更接近通用人工智能。
https://i-blog.csdnimg.cn/direct/0e9c564cb20d4035887fe75eb7656cbf.png
随着大模子(LM,又称大型底子模子)的兴起,比方 OpenAI GPT-4o、Google PaLM 2 和 Microsoft Copilot,LM 为全面加强 AI 智体的固有能力开发了新的大概性 ,。如图所示,LM 智体(无论是软件形式 a 还是具身形式 b)通常由四个关键组件组成:规划、动作、记忆和交互。这些智体可以在物理、虚拟或混淆现实环境中无缝运行 ,–。具体来说,LM 是 AI 智体的“大脑”,赋予它们强大的人机交互 (HMI)、复杂模式识别、知识保留、推理、长期规划、泛化和适应性能力 。此外,通过先进的推理和少样本/零样本规划技术,如思维链 (CoT) 、思维树 (ToT) 和反思 ,LM 智体可以形成复杂的逻辑连接,使它们能够有效地办理复杂、多方面的任务。比方,AutoGPT 是一个有前途的 LLM 智体原型,它可以将复杂任务分解为几个可管理的子任务,从而促进结构化和高效的题目办理。将 LM 与检索加强天生 (RAG) 技术 相结合,进一步答应智体访问外部知识源并提高其基于检索信息的响应正确性。此外,LM 智体可以灵活地集成一系列 LM,包罗大语言模子 (LLM) 和大型视觉模子 (LVM),以实现多方面的能力。
https://i-blog.csdnimg.cn/direct/596e9d8858574d4f9f8bbc42fc2dd083.png
如图 (a) 所示,LM 智体可以维护内部记忆,随着时间的推移积累知识以指导未来的决策和行动,从而能够在动态环境中持续学习和适应 。如图 (b) 所示,LM 智体自动与环境交互并根据及时反馈调整动作。
LM 智体被认为是实现通用人工智能 (AGI) 的重要一步,并已广泛应用于网络搜刮 、保举系统 、虚拟助手 、、元宇宙游戏 、机器人 、自动驾驶汽车 和电子计划自动化 (EDA) 等范畴。据 MarketsandMarkets 报道,2023 年全球自主人工智能和自主智体市场价值为 480 亿美元,预计年复合增长率(CAGR)为 43%,到 2028 年到达 285 亿美元。LM 智体引起了全球的关注,包罗谷歌、OpenAI、微软、IBM、AWS、甲骨文、NVIDIA 和百度在内的领先科技巨头都在进军 LM 智体行业。
如图展示 LM 智体的未来愿景,其特点是三个关键属性:自主、具身和连接,为 AGI 铺平了门路。每个 LM 智体包罗两部分:(i) 位于网络空间的数字大脑,由 GPT-4o、PaLM 2 和 Copilot 等 LM 驱动;(ii) 物理身体,如自动驾驶汽车、机器狗和无人机。在每个 LM 智体中,数字大脑通过智体内通信与其物理身体同步。LM 智体在云中相互通信,通过智体之间通信共享信息和知识,创建互联智能网络。每个 LM 智体都可以与其他智体、虚拟/现实环境和人类动态交互。每个 LM 智体的大脑可以作为独立实体摆设,也可以以分层方式跨各种平台(如云服务器、边缘设备或终端设备)摆设。
https://i-blog.csdnimg.cn/direct/b3706dd3a90045f9ad0b20afe6bd26fb.png
如上图所示,通过将浩繁 LM 智体互连到 LM 智体互联网中,连接的 LM 智体可以自由共享传感数据和面向任务的知识。通过充实利用各种专门 LM 的盘算能力,它促进了合作决策和集体智慧。
尽管语言模子智体远景光明,但安全和隐私题目仍旧是其广泛应用的重大障碍。在语言模子智体的整个生命周期中,大概会出现许多漏洞,包罗对抗样本 、智体中毒 、语言模子幻觉 ,以及普遍的数据收集和记忆 。
两个大模子智体的标准:IEEE SA-P3394 和 IEEE SA-P3428。
1)2023 年推出的 IEEE SA - P3394 标准。界说了天然语言接口,以促进 LLM 应用程序、智体和人类用户之间的通信。该标准创建一套协议和指南,使应用程序和智体能够与启用 LLM 的智体举行有效通信。这些协议和指南包罗但不限于 API 语法和语义、语音和文本格式、对话流、提示工程集成、LLM 思维链集成,以及 LLM 插件的 API 端点配置、身份验证和授权。该标准有望提高技术互操作性,促进人工智能行业发展,提高 LM 的实用性和服从,并改善人工智能智体功能和用户体验。
2)2023 年推出的 IEEE SA - P3428 标准。旨在为教育应用中的 LLM 智体制定标准。主要目标是确保 LLM 智体在开源和专有系统中的互操作性。重点关注范畴包罗 LLM 与现有教育系统的集成以及办理技术和道德挑战。这包罗确保 LLM 可以与其他 AI 组件(比方自适应教学系统 (AIS))无缝交互,同时办理教育环境中的偏见、透明度和问责制题目。该标准旨在支持 LLM 在教育范畴的广泛有效应用,从而实现更加个性化、高效和合乎道德的 AI 驱动教育体验。
连接LM智体的架构:
1)LM 智体的操作系统 (OS):根据 、,LM 智体的操作系统架构由三层组成:应用程序、内核和硬件。
• 应用程序层托管智体应用程序(比方,观光、编码和机器人智体),并提供抽象系统调用的 SDK,从而简化智体开发。
• 内核层包罗平常操作系统内核和附加的 LM 智体内核,重点是在不改变原始操作系统结构的情况下。LM 智体内核 、 中的关键模块包罗用于任务规划和优先级排序的智体调度程序、用于 LM 状态管理的上下文管理器、用于短期数据的内存管理器、用于长期数据保留的存储管理器、用于外部 API 交互的工具管理器以及用于隐私控制的访问管理器。
• 硬件层包罗物理资源(CPU、GPU、内存等),这些资源通过操作系统系统调用间接受理,由于 LM 内核不直接与硬件交互。
OS架构如图所示:
https://i-blog.csdnimg.cn/direct/9fbf586a601940af8ae292e248f76fef.png
2)语言模子智体的构建模块:根据、-,语言模子智体通常有五个构建模块:规划、行动、记忆、交互和安全模块。这些模块共同使语言模子智体能够在复杂和动态的环境中感知、规划、行动、学习和高效、安全地交互。
• 在语言模子的支持下,规划模块在记忆模块的帮助下制定计谋和动作规划,从而实现明智的决策、。
• 动作模块实行这些具体行动,根据及时环境反馈调整动作,以确保根据情境做出适当的响应、。
• 记忆模块充当积累知识(比方过去的履历和外部知识)的存储库,促进持续学习和改进。
• 交互模块实现与人类、其他智体和环境的有效沟通和协作。
• 安全模块集成于 LM 智体的整个操作中,确保自动防御威胁并维护数据和流程的完整性和秘密性。
[*]LM 智体引擎:LM 智体引擎由多种尖端技术组合驱动,包罗大型底子模子、知识相关技术、交互、数字孪生和多智体协作。
GPT-4 和 DALL-E 2 等大型底子模子充当 LM 智体的大脑,可实现高级模式识别、高级推理和智能决策,提供 LM 智体的认知能力 ,。
知识相关技术通过结合知识图谱 (KG)、知识库和 RAG 系统加强 LM 智体,答应智体访问、利用和管理大量外部知识源,确保知情和上下文相关的操作 。
HMI 技术通过 NLP、多模态界面和加强/虚拟/混淆现实 (AR/VR/MR) 实现人与智体之间的无缝交互,促进动态和自适应交互 。
数字孪生技术答应通过智体内部通信,高效无缝地同步 LM 智体的身体和数字大脑之间的数据和状态 。
多智体协作技术使 LM 智体能够高效协作,通过智体间通信制定合作、竞争和竞合计谋,共享数据、资源和任务,以办理复杂题目 。
4) LM 智体的通信模式:每个 LM 智体都由两部分组成:(i)位于云端、边缘服务器或终端设备中的 LM 赋能大脑;(ii)相应的物理实体,如自动驾驶汽车。每个 LM智体都可以与其他 LM 智体、虚拟/现实环境和人类举行自动交互。对于连接的 LM智体,存在两种典型的通信模式:智体内通信,用于 LM 智体内大脑和物理实体之间的无缝数据/知识同步;智体间通信,用于 LM 智体之间的有效和谐。
• 智体内通信是指单个 LM 智体内的内部数据/知识互换。这种范例的通信可确保 LM 智体的不同组件(包罗规划、动作、记忆、交互和安全模块)和谐工作。比方,LM 智体通过其物理实体收集多模态感官数据,然后将解释后的信息传达给 LM 赋能大脑。大脑中的规划模块制定响应或动作规划,然后由动作模块实行。这种无缝的信息流对于在及时和动态场景中维持 LM 智体的功能、连贯性和响应性至关重要。
• 智体间通信涉及多个 LM 智体之间的信息和知识互换。它支持智体之间的协作任务分配、资源共享和和谐行动,以促进集体智能。比方,在智能城市应用中,管理交通信号灯、公共交通和紧急服务的各种 LM 智体共享及时数据,以优化城市交通和安全。有效的智体间通信依赖于标准化协议来确保兼容性和互操作性,从而促进整个 LM 智体网络的高效和同步操作。
[*] 人类世界与 LM 智体之间的信息流:
人类通过天然语言、移动智能设备和可穿着技术与 LM 智体举行交互,使 LM 智体能够明确人类的指令并有效地办理现实世界的题目。反过来,LM 智体从人类的输入中获取新知识和数据,这有助于他们不停改进和学习。这种不停更新和优化模子的过程使 LM 智体能够提供越来越正确和有效的信息。在 AR 和 VR 环境中,LM 智体可以在虚拟环境(比方建筑计划)中与人类用户协同工作,以提高团体服从和创造力 。
[*] 物理世界与 LM 智体之间的信息流:
借助数字孪生技术,LM 智体可以在其物理身体和数字大脑之间同步数据和状态,从而创建无缝交互循环。LM 智体还可以监控并根据来自其环境的及时输入采取行动。这种双向同步使 LM 智体能够以高精度和高响应度感知和响应四周环境(无论是虚拟的还是真实的),从而弥合数字范畴和物理范畴之间的差距。通过不停地从环境反馈中学习,LM 智体可以积累知识并加深对物理定律的明确,从而使它们能够办理复杂的现实世界题目。这种迭代学习过程确保 LM 智体不但对即时激励做出反应,而且随时间的推移不停改进其具体动作,从而实现更复杂、更有效的办理方案。
7)网络世界与 LM 智体之间的信息流:在网络世界中,LM 智体通过高效的云端网络互连到 LM 智体互联网中,促进无缝数据和知识共享,促进多智体协作。通过在云端和边缘底子设施上摆设 LM,它答应 LM 智体利用云端和边缘盘算的上风来优化性能和响应能力 。云提供了强大的盘算能力和存储能力,可以处理大量数据并训练复杂的模子。同时,边缘提供更接近源头的及时数据处理能力,从而减少延迟并确保及时做出决策。在 LM 智体互联网中,LM 智体可以及时与其他人协作共享数据、知识和学习履历,从而创建一个跨多个范畴强大且自适应的智能网络。比方,在智慧城市中,不同地点的实体 LM 智体可以通过共享及时数据和和谐行动来协同工作,以优化交通流量、管理能源资源并加强公共安全。
如图所示,LM 智体的互联网总体架构,其桥接人类、物理和网络世界:
https://i-blog.csdnimg.cn/direct/4d30cecfe50c430a9eadb449ed09dca2.png
如图所示,构建连通的 LM 智体通常包含五个关键模块 、–:规划、动作、记忆、交互和安全。
https://i-blog.csdnimg.cn/direct/126c96a3ec76405594665f5b15a477ba.png
1)规划模块:规划模块是 LM 智体的焦点 、。它利用先进的推理技术使 LM 智体能够计划出办理复杂题目标有效办理方案。规划模块的工作模式包罗以下几种。
• 无反馈规划:规划模块使 LM 智体能够明确复杂题目,将题目分解为必要的步骤或可管理的子任务,找到可靠的办理方案 、。比方,CoT 是一种盛行的顺序推理方法,此中每个想法都直接创建在前一个想法之上。它代表了循规蹈矩的逻辑思维,可以加强连贯和上下文相关响应的天生。ToT 将推理构造成树状结构,同时探索多条路径。在 ToT 中,每个节点代表一个部分办理方案,答应模子分支和回溯以找到最佳答案。思维图 (GoT) 使用任意图形结构对推理举行建模,从而答应更灵活的信息流。GoT 捕获头脑之间的复杂关系,从而加强模子的办理题目标能力。AVIS 使用人为界说的转换图进一步美满了视觉问答任务的树搜刮过程,并通过动态提示管理器加强了决策能力。
• 反馈加强规划:为了在复杂任务中制定有效的长期规划,有必要根据过去的行动和观察 反复反思和美满实行规划。目标是改正过去的错误并改善最终结果。比方,ReAct 通过提示 LLM 同时天生推理轨迹和动作,将推理和动作结合起来。这种双重方法答应 LLM 创建、监控和调整行动规划,而特定于任务的行动则加强了与外部来源的交互,从而提高了响应的正确性和可靠性。 Reflexion 将环境反馈转化为自我反思,使 LLM 智体能够从过去的错误中学习,并迭代优化行为加强 ReAct。Reflexion 的特点是,一个通过记忆加强的模子(比方,CoT 和 ReAct)产生动作和文本的actor,一个使用特定于任务的嘉奖函数对输出举行评分的evaluator,以及一个产生口头反馈以改进actor的自我反思。
• 多脚色自我规划:受到假装游戏的启发,Wang 开发了一种认知增效剂(cognitive synergist),使单个 LLM 能够分裂成多个脚色,促进自我协作以办理复杂任务。他们提出了 Solo Performance Prompting (SPP),此中 LLM 无需外部检索系统即可识别、模拟和与不同的脚色(比方范畴专家或目标受众)协作。SPP 通过答应 LLM 从各个角度举行多轮自我修整和反馈来加强办理题目标能力。
• 落地的规划:在现实环境(比方 Minecraft)中实行规划需要正确的多步骤推理。VOYAGER 是 Minecraft 中第一个由 LLM 驱动的智体,它利用上下文终身学习来适应和推广技能以适应新任务和新世界。VOYAGER 包罗用于探索的自动课程、用于复杂行为的可实行代码技能库,以及基于反馈改进程序的迭代提示机制。Wang 进一步提出一种交互式形貌-解释-规划-选择 (DEPS) 的规划方法,整合实行形貌、自我解释和对子目标举行排序以改进规划的目标选择器,改进 LLM 天生的规划。此外,Song 提出一种落地重规划算法,该算法根据环境感知在任务实行过程中动态更新高级规划,并在操作失败或在指定时间之后触发重规划。
2)记忆模块:记忆模块是 LM 智体随时间学习和适应能力不可或缺的部分 。它维护内部记忆,从过去与用户、其他智体和环境的交互、想法、行动、观察和履历中积累知识。存储的信息指导未来的决策和行动,使智体能够不停美满其知识和技能。该模块确保智体能够记着过去的履历教导并将其应用于新情况,从而提高其长期性能和适应性 。记忆格式多种多样,比方天然语言、嵌入式向量、数据库和结构化列表。此外,RAG 技术 可用于访问外部知识源,进一步加强 LM 智体规划能力的正确性和相关性。在文献 、 中,记忆可分为以下三种范例。
• 短期记忆侧重于当前情况的背景信息。它是临时的和有限的,通常通过上下文窗口举行管理,该窗口限制了 LM 智体一次可以学习的信息量。
• 长期记忆存储 LM 智体的汗青行为和想法。这是通过外部向量存储实现的,它答应快速检索重要信息,确保智体可以访问相关的过去履向来为当前决策提供信息 。
• 混淆记忆结合短期和长期记忆,以加强智体对当前上下文的明确,并利用过去的履历举行更好的长期推理。Liu 提出 RAISE 架构,通过集成双-组件记忆系统来加强对话式 AI 智体的 ReAct,此中 Scratchpad 将最近的交互捕获为短期记忆;而检索模块充当长期记忆以访问相关示例。HIAGENT 接纳跨试验和试验内的记忆,此中跨试验记忆存储汗青轨迹,试验内记忆捕获当前试验。 HIAGENT 不会保留所有动作-观察对,而是使用子目标作为记忆块来节省记忆,每个子目标都包含总结的观察。LLM 天生子目标,实行操作以实现这些目标,并通过总结和用相关信息替换已完成的子目标来更新工作记忆。
[*]动作模块:动作模块使 LM 智体能够在各种环境中实行和调整动作 、。该模块旨在处理具身化动作和工具使用能力,使智体能够自适应且有效地与其物理环境交互。此外,工具大大拓宽了智体的动作空间。
• 具身化动作。动作模块使 LM 智体能够实行适合上下文的具身化动作并适应环境变化,促进与物理环境的交互和调整 、。由于 LLM 天生的动作规划通常不能在交互式环境中直接实行,Huang 建议,以演示为条件并将其在语义上转换为可接受的动作,改进 LLM 为具身化智体天生的规划。VirtualHome 环境中的评估表现可实行性有显著提高,比基线 LLM 提高了 18% 到 79%。此外,SayCan 通过在基于物理的任务中利用 LLM 知识,使机器人等具身智体能够遵照高级指令,此中 LLM(即 Say)建议有效的操作;而学习的affordance函数(即 Can)评估 affordance。SayCan 的有效性通过厨房环境中的 101 个零样本真实世界机器人任务得到证明。PaLM-E 是一种多功能多模态语言模子,用于具身推理、视觉语言和语言任务。它将连续传感器输入(比方图像和状态估计)集成到与语言tokens相同的嵌入空间中,从而答应在现实世界的顺序决策中举行有根据的推理。
• 学习使用和制作工具。利用各种工具(比方搜刮引擎和外部 API),LM 智体可以收集有价值的信息来处理分配的复杂任务。比方,AutoGPT 将 LLM 与预定工具(如 Web 和文件欣赏)集成在一起。InteRecAgent 将 LLM 作为大脑,将保举模子作为工具,使用查询、检索和排名工具来处理复杂的用户查询。除了使用现有工具外,LM 智体还可以开发新工具来提高任务服从 。为了使用大型工具集优化工具选择,ReInvoke 引入了一种无监视工具检索方法,该方法具有查询天生器,丰富离线索引中的工具文档,以及意图提取器,从在线推理中的用户查询中识别与工具相关的意图,然后接纳多视图相似性排名计谋,识别最相关的工具。
[*]交互模块:交互模块使 LM 智体能够与人类、其他智体和环境举行交互 。通过这些多样化的交互,智体可以收集多样化的履历和知识,这对于全面明确和适应至关重要。
• 智体-智体交互。交互模块答应 LM 智体与其他智体举行通信和协作,从而形成一个共享信息和资源的合作网络 。这种交互可以包罗和谐共享任务的努力、互换知识以办理题目以及在多智体场景中协商脚色。
• 智体-人交互。LM 智体可以与人类交互,包罗明确和响应天然语言下令、识别和解释人类的情绪和心情,以及在各种任务中提供帮助 。据观察,诸如 GPT-4 之类的 LLM 每每会忘记多轮对话中的脚色设置,并且由于上下文窗口限制而难以举行具体的脚色分配。为了办理这个题目, 引入了一个树结构的脚色模子,用于脚色分配、检测和维护,加强了智体交互。
• 智体-环境交互。LM 智体可以直接与物理或虚拟环境互动。通过促进在物理、虚拟或混淆现实环境中的参与 、,交互模块确保 LM 智体可以在不同环境中有效运行。Lai 开发了 AutoWebGLM 智体 ,它通过课程学习、自采样强化学习和拒绝采样的微调方法在网页欣赏任务中表现出色。基于 AutoWebGLM 的 Chrome 扩展程序,验证了其在现实世界服务中跨各种网站的有效推理和操作能力。
5)安全模块:安全模块对于确保 LM 智体的安全、可靠、合乎道德和隐私保护操作至关重要 。它旨在监控和规范 LM 智体的行为、交互和决策,以防止伤害并确保服从法律和道德标准。该模块接纳幻觉缓解、非常检测和访问控制等技术来识别和缓解潜在的安全/隐私威胁。它还结合了道德准则和偏见缓解技术,以确保公平和负责任的行为。安全模块可以通过从新的安全/隐私事件中学习并集成安全/隐私数据库和计谋的更新,动态适应新出现的威胁。
模块之间的连接:LM 智体的关键组件相互连接,创建一个有凝聚力和智能的系统。特殊是,规划模块依靠记忆模块来访问过去的履历和外部知识,确保做出明智的决策。行动模块实行由规划模块天生的规划,根据及时反馈和记忆调整动作。交互模块通过促进沟通和协作来加强这些过程,从而为规划和记忆模块提供额外的数据和背景。此外,安全考虑无缝集成到 LM 智体操作的每个方面,以确保妥当和值得信赖的性能。
如图所示:连接的LM智体具备的能力有5个,即大底子模子、知识相关、交互、数字孪生和多智体协同。
https://i-blog.csdnimg.cn/direct/91807f7e70094e50901b77f20d3d8644.png
如图表现这5个能力的脚色和主要组件:
https://i-blog.csdnimg.cn/direct/98f0f1d48d69467eb774dd10c22f6789.png
大底子模子:多模态、高级推理、零/少样本泛化和适配。
知识相关:知识融合、RAG和知识同步。
交互:HMI/人-机器人交互、3D数字人、AR/VR/MR和多模态界面。
数字孪生:虚拟-物理同步、虚拟-物理反馈和预测分析。
多智体协同:数据协同、知识协同和盘算协同。
最近,各种 LM 智体的工业项目,比方 AutoGPT、AutoGen、BabyAGI、ChatDev 和 MetaGPT,展示了它们在协助网络、生活和贸易场景方面的多样化潜力,比方规划个性化观光、自动天生创意内容和加强软件开发工作流程。比方,AutoGPT 是一个开源自主智体,它利用 GPT-3.5 或 GPT-4 API 通过将复杂任务分解为多个子任务并链接 LLM 输出来独立实行复杂任务,展示了高级推理能力 。微软开发的 AutoGen 提供了一个开源多智体对话框架,支持 API 作为改进 LLM 推理的工具,并强调 AI 模子的自动天生和微调 。BabyAGI 通过 OpenAI 平台和矢量数据库集成任务管理,通过基于高级目标自主创建和实行任务来模拟简化的 AGI。 ChatDev 专注于加强对话式 AI,提供复杂的对话管理、编码、调试和项目管理,以简化软件开发流程 。MetaGPT 探索了元学习范式,此中模子通过利用相关任务中的知识举行训练以快速适应新任务,从而提高不同应用程序的服从和性能 。
1)移动通信:LM 智体通过实现低成本和情境感知的决策 、个性化的用户体验 以及用于无线资源分配的自动优化题目公式 ,为移动通信提供了显著的上风。NetLLM 、NetGPT 、ChatNet 、MobileAgent v2、AppAgent。
2)智能机器人:LM 智体在推进智能工业和服务机器人方面发挥着至关重要的作用 。这些机器人可以通过感知四周环境并通过深度学习模子学习必要的技能,实行产物组装、环境干净和客户服务等复杂任务。Figure 02、Optimus。
3)自动驾驶:LM 智体正在通过加强车辆智能、提高安全性和优化驾驶体验(比方,提供个性化的车内体验)来改变自动驾驶 。
4)自主攻防对抗:LM 智体可以看作是自主智能的网络安全决策者,能够在无人干预的情况下做出安全决策并采取威胁处理行动。PentestGPT、AutoAttacker。
如图是LM智体的交互范例:协同、部分协同(竞争)和竞争。
https://i-blog.csdnimg.cn/direct/69452efd1d804783bc91bb7e98dce362.png
如图所示LM智体的协作模式:数据、盘算和知识协作。
https://i-blog.csdnimg.cn/direct/e8398a01567245138b3fcd1dcf0028e9.png
用于促进 LM 智体之间合作的方法包罗脚色扮演 、、多目标优化、合作博弈论 、纳什的讨价还价办理方案、拍卖机制 、多智体强化学习 (MARL) 、群体智能算法、联邦学习 (FL) 和心智理论(theory of mind)。
• 脚色扮演。Li 提出一个合作智体框架,该框架接纳脚色扮演和初始提示来引导智体自主完成任务。该系统从人类提供的想法和脚色分配开始,由任务指定智体举行细化。然后,AI 用户和 AI 助手通过多轮对话举行协作,AI 用户举行指导,助手举行响应,直到任务完成。 ChatDev 、MetaGPT 和 GA 。
• 心智理论。它指的是了解他人隐蔽心理状态的能力,这对于交际互动至关重要。随着 LLM 更多地参与人际来往,提高他们的交际智力至关重要。Li 确定了 LLM 协作的范围性,并提出了一种提示工程方法来整合明确的信心状态表示。他们还介绍了一种在团队合作场景中对 LLM 高阶心智理论的新评估,强变更态信心状态演变和智体之间的意图交流。
其他部分(略)。
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]