探索新一代大模型署理（LLM agent）及其架构

在人工智能大模型(AI)的浪潮中，2023年我们见证了检索加强天生(Retrieval Augmented Generation, RAG)的鼓起，而2024年则无疑成为了“署理”agent的元年。各大AI企业纷纷投身于谈天呆板人署理的研发中，工具如MultiOn通过与外部网站的连接实现了快速增长，而框架如LangGraph和LlamaIndex Workflows则助力环球开辟者构建布局化的署理应用。然而，尽管署理在AI生态体系中备受瞩目，它们却仍未能在消费者或企业用户现实业务场景中掀起波涛。本日我们一起来探索一下新一代的大模型署理及其架构。

大模型署理(llm agent)的底子概念
首先，让我们明确什么是大模型署理(llm agent)。基于LLM的署理是软件体系，它们通过串联多个处理步骤，包括LLM调用，api调用，方法调用等等以实现期望的终极结果。这些大模型署理通常包含一定量的条件逻辑或决议本领，以及在执行步骤间可访问的工作内存。相识署理的构建方式、当前面临的问题及初步办理方案，对于我们导航新框架和署理发展方向至关重要。
ReAct署理的失败与反思

回顾过去，署理的概念并非新鲜事物。客岁，AI领域的社交媒体上涌现了大量声称具备惊人智能本领的ReAct(reason, act)署理。然而，这些第一代署理大多以高度的抽象化设计著称，尽管承诺广泛的结果，但现实上却难以使用且结果有限。
ReAct署理的失败促使人们开始重新思考署理的布局。过去一年中，我们见证了巨大的进步，引领我们进入第二代署理的期间。新一代署理以更严酷的方式定义了署理可能采取的路径，从而避免了ReAct署理开放式设计的缺陷。这种趋势趋向于缩小解空间，即每个署理能够执行的任务范围，虽然限制了多样性，但通常能打造出更强大、更易定义的署理。
第二代大模型署理（llm agent）的核心特性

第二代署理在多个方面展现出显著的特性。首先，它们往往接纳LLM路由，并在迭代循环中处理数据。许多署理包含一个名为“路由器(router)”的节点或组件，负责决定下一步应该采取的举措。router可能是由LLM或分类器等驱动的，它们根据输入信息选择执行路径。
每个举措通常由一个组件表示，这些组件是完成特定小任务的代码块，可能调用LLM、执行内部API调用或运行应用步伐代码。在LangGraph中，这些组件被称为节点;而在LlamaIndex Workflows中，它们则被称为步骤。一旦组件完成其工作，它可能返回路由器或移动到其他决议组件。
无论大模型署理是否使用框架，我们都看到了办理方案空间越来越小的趋势——也就是说每个署理可以做的事情越来越少。办理方案空间越小，署理就越轻易定义，这通常会使署理更强大。
大模型署理的架构模式

署理的摆设通常遵照一些常见的架构模式。最简朴的形式可能仅包括一个LLM路由器和一个工具调用，我们称之为“单一路由器与功能”架构。在这种架构中，路由器根据体系输入决定调用哪个工具或功能。

稍微复杂的架构则是“单一路由器与功能集”，其中路由器调用的不再是简朴的工具或函数调用，而是更复杂的工作流程或功能集，这些可能包含多个组件和深度链接的动作链。

更高级的架构则将LLM调用与工具和状态混合，形成复杂的分支布局。路由器根据用户问题调用差别的功能，每个功能可能更新共享状态，并可能涉及一个或多个LLM调用来天生用户响应。

为了应对署理的复杂性，出现了如LangGraph和LlamaIndex Workflows等框架，它们旨在通过提供布局化的方式来简化署理开辟。LangGraph基于Pregel图的概念，定义了节点和边，使署理能够沿其移动。而在LlamaIndex Workflows中，则使用事件和事件监听器来在差别节点间移动。
大模型署理的一些思考

是否应使用框架开辟大模型署理


在决定是否使用大模型署理框架来开辟署理时，我们需要衡量其提供的额外布局与复杂性之间的均衡。对于大型、复杂的大模型署理应用，大模型署理框架提供的布局和最佳实践可以大大低落开辟难度。然而，对于高度定制化或特定需求的署理，直接使用代码可能更为机动。
以我们一个项目为例，我们在开辟本身的署理时接纳了多层路由器架构，虽然我们没有直接使用LangGraph等框架，但我们的设计在一定程度上鉴戒了它们的抽象概念。我们发现，对于当前的项目需求而言，直接使用代码比依赖框架更为高效。然而，我们也熟悉到随着框架的不断完善，未来可能会考虑接纳这些框架来加速开辟进程。
你真的需要大模型署理吗?

在决定构建大模型署理之前，我们首先需要明确署理的适用场景。如果你的应用遵照基于输入数据的迭代流程，需要根据先前的举措或反馈进行调整，大概存在一个可遍历的状态空间，那么署理可能是一个很好的选择。
然而，署理并非全能的办理方案。它们在复杂任务分解、恒久规划和性能一致性方面仍面临挑衅。为了克服这些挑衅，我们需要接纳一系列计谋，如缩小解空间、引入领域和业务开导式、明确举措意图和创建可重复的过程等等，真是落地还需要很多现实业务场景的探索
使用大模型署理常见问题及可能的办理方案

问题：
1.恒久规划难题：Agent在分解复杂任务和避免陷入循环方面存在困难，常需人类干预。
2.不一致的性能：由于办理空间的庞大，Agent难以实现一致结果，且成本高昂。市场倾向于使用受限Agent以限制办理空间。
可能的应对计谋：
1、缩小办理空间：通过预先定义可能的举措和结果范围来淘汰不确定性。2、引入业务逻辑：将领域和业务开导式融入Agent的决议体系中，提升决议质量。
3、明确举措意图和尺度化流程：清楚定义每个举措的目的，尺度化执行步骤，加强可靠性和可纠错性。
4、代码化编排：使用代码替代LLM进行编排，提高过程的确定性和可控性。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。