大模型智能体操作体系（AIOS: LLM Agent Operating System）

简介：

基于大型语言模型（LLM）的智能体的集成和部署充满了挑战，这些挑战损害了它们的服从和功效。
这些题目包罗LLM上智能体请求的次优调治和资源分配，在智能体和LLM之间的交互过程中维护上下文的困难，以及集成具有不同能力和专业化的异构智能体所固有的复杂性。智能体的数目和复杂性的快速增长进一步加剧了这些题目，往往导致资源的瓶颈和次优使用。
受这些挑战的开导，本文提出了AIOS，一种LLM智能体操作体系，它将大型语言模型作为操作体系的大脑嵌入到操作体系中，使操作体系“有灵魂”——这是迈向AGI的重要一步。
具体而言，AIOS旨在优化资源分配，促进智能体之间的上下文切换，实现智能体的并发执行，为智能体提供工具服务，并维护智能体的访问控制。
我们先容了如许一个操作体系的架构，概述了它旨在解决的核心挑战，并提供了AIOS的基本设计和实现。我们在多个智能体的并发执行上的实验证实了我们的AIOS模块的可靠性和服从。
通过这一点，我们的目的不但是进步LLM智能体的性能和服从，而且是在未来更好地开发和部署AIOS生态体系的先驱。
该项目开源于https://github.com/agiresearch/AIOS​​​​​​​.

配景先容：

在自主智能体范畴，研究工作[1，2，3]针对的是能够独立运行、做出决策和执行任务的体系，而无需或最少的人工干预。这些智能体旨在理解指令、处理信息、做出决策并接纳行动以实现自主状态。大型语言模型（LLM）[4，5，6]的出现为智能体开发带来了新的大概性[7]。当前的LLM在理解指令[8，9，10，11]、推理和解决题目[12，13，14，15，16]、与人类用户[17]以及外部环境[18，19]的交互方面显示出强大的能力。基于这些强大的LLM，新兴的基于LLM的智能体[7，20，21，22]可以在不同的环境中体现出强大的任务完成能力，从虚拟助理到涉及复杂和创造性题目解决、规划和推理的更复杂的体系。
从图1中可以看出，基于LLM的智能体如何解决现实天下中的任务是一个引人注目的例子：
给定用户的旅行构造请求，旅行社将任务分解为可执行的步骤。
然后，它按次序执行步骤，根据用户的偏好预订航班、预订酒店、处理付款和更新日历。
在计划执行过程中，智能体显示出推理和决策能力，这使其与传统的软件应用程序不同，后者被限定在预定义的一组功能或工作流中。
为了实现这种旅行场景，智能体需要与LLM服务（例如：检索和理解用户偏好，决定调用哪个工具API，天生评论和相应）和传统操作体系（OS）服务（例如：访问磁盘驱动程序和执行软件）进行交互。

陪同着智能体数目和复杂性的指数增长，LLM和OS的功能受到越来越大的压力。
例如，在有限的LLM资源中对智能体请求进行调治和优先级排序是一个庞大挑战。
别的，当处理冗长的上下文时，LLM的天生过程大概会变得耗时，偶然会导致天生被调治器挂起。这就提出了设计一种机制来快照LLM的当宿世成结果的题目，从而纵然在LLM尚未完成对当前请求的相应天生时也能够实现停息/恢复活动。
别的，一旦智能体得到了可用调用工具的列表，确定调用这些工具的最佳次序就带来了另一个挑战，因为多个智能体大概需要调用同一个工具。别的，多个智能体的并发操作需要一个跨不同智能体的强大的内存管理体系，同时还确保严酷执行隐私和访问控制步伐。
为了解决上述挑战，我们提出了AIOS，这是一种LLM智能体操作体系（图2），用于提供LLM和OS功能的模块隔离和聚合。
为了解决与LLM相关的任务和与LLM无关的任务之间出现的埋伏冲突，我们提出了LLM特定内核的设计。该内核隔离了类似操

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。