图2:在编排层采用ReAct推理的实例agent
Agent认知架构的核心是编排层,负责维护记忆、状态、推理和规划。它使用快速发展的提示工程领域和相关框架来引导推理和规划,使Agent能够更有效地与其环境交互并完成任务。 四、工具:通往外部世界的钥匙
固然语言模型擅长处理信息,但它们缺乏直接感知和影响实际世界的能力。工具弥合了这一差距,使Agent能够与外部数据和服务交互,并解锁模型本身无法实现的更广泛的行动。
工具有多种情势,复杂程度各不雷同,但通常与常见的 Web API 方法(如 GET、POST、PATCH 和 DELETE)一致。例如,工具可以更新数据库中的客户信息,或获取天气数据以影响Agent向用户提供的观光建议。
截至本文发布之日,Google 模型能够与三种重要工具范例进行交互:扩展程序、函数和数据存储。通过为Agent配备工具,我们开释了它们理解世界并采取行动的巨大潜力,为无数新的应用和大概性打开了大门。
五、扩展程序
扩展程序以标准化方式弥合了 API 和Agent之间的差距,使Agent能够无缝执行 API,而无需思量其底层实现。例如,在航班预订用例中,用户大概会说“我想预订从奥斯汀飞往苏黎世的航班”。在这种环境下,自定义代码办理方案需要从用户查询中提取“奥斯汀”和“苏黎世”作为相关实体,然后实验进行 API 调用。
图3:agents怎样与外部API进行交互
但是,如果用户说“我想预订飞往苏黎世的航班”而从未提供出发城市,该怎么办?如果没有所需数据,API 调用将失败,并且需要实现更多代码来捕获此类边沿环境和极端环境。这种方法不可扩展,并且很轻易在任何超出已实现自定义代码的场景中瓦解。
扩展程序通过以下方式弥合了Agent和 API 之间的差距:
图7:函数怎样与外部API进行交互
使用函数的一个关键点是,它们旨在让开发职员能够更好地控制 API 调用的执行,以及整个应用程序中的整个数据流。在示例中,开发职员选择不将 API 信息返回给Agent,由于它与Agent大概采取的未来行动无关。
但是,根据应用程序的架构,将外部 API 调用数据返回给Agent大概是故意义的,以便影响未来的推理、逻辑和行动选择。最终,由应用程序开发职员来选择最适合特定应用程序的方法。 七、数据存储
数据存储通过提供对更动态和最新信息的访问来办理这一限制,并确保模型的响应基于究竟和相关性。
数据存储答应开发职员以其原始格式向Agent提供额外的数据,从而无需进行耗时的数据转换、模型再训练或微调。数据存储将传入的文档转换为一组向量数据库嵌入,Agent可以使用这些嵌入来提取补充其下一步操作或对用户响应所需的信息。
图11:数据存储将agents与各种范例的新实时数据源连接起来
在生成式 AI Agent的上下文中,数据存储通常被实现为开发职员希望Agent在运行时访问的向量数据库。固然我们不会在这里深入介绍向量数据库,但要理解的关键点是,它们以向量嵌入的情势存储数据,向量嵌入是一种提供的数据的高维向量或数学表现。
Agent工具范例:扩展、函数和数据存储构的区别
总的来说,扩展、函数和数据存储构成了agent在运行时可以使用的几种不同工具范例。每种工具都有其特定用途,并且可以根据agent开发者的意愿,选择一起使用或单独使用。 八、用目标学习加强模型性能
有效使用模型的一个关键方面是它们在生成输出时选择正确工具的能力,尤其是在生产中大规模使用工具时。固然通用训练有助于模型发展这种技能,但实际世界的场景通常需要超出训练数据的知识。
为了资助模型得到这种特定知识,存在几种方法:
**上下文学习:**此方法在推理时为广义模型提供提示、工具和少样本示例,使其能够“动态”学习怎样以及何时将这些工具用于特定任务。ReAct 框架是这种方法在自然语言中的一个例子。
**基于检索的上下文学习:**此技能通过从外部内存中检索最相关的信息、工具和相关示例来动态填充模型提示。Vertex AI 扩展程序中的“示例存储”或前面提到的数据存储 RAG 架构就是一个例子。
**基于微调的学习:**此方法涉及在推理之前使用更大的特定示例数据集来训练模型。这有助于模型在接收任何用户查询之前相识何时以及怎样应用某些工具。 九、使用 LangChain快速入门Agent
为了提供Agent实际运行的可执行示例,我们将使用 LangChain 和 LangGraph 库构建一个快速原型。这些流行的开源库答应用户通过将逻辑、推理和工具调用的序列“链接”在一起来构建客户Agent,以答复用户的查询。
固然这是一个相当简单的Agent示例,但它展示了模型、编排和工具等根本组件怎样协同工作以实现特定目标。在末了一节中,我们将探究这些组件怎样在 Google 规模的托管产品(如 Vertex AI Agent和 Generative Playbooks)中组合在一起。 十、使用Vertex AI Agent的生产应用程序
固然本白皮书探究了Agent的核心组件,但构建生产级应用程序需要将它们与其他工具(如用户界面、评估框架和一连改进机制)集成在一起。
Google 的 Vertex AI 平台通过提供一个完全托管的环境(包含前面介绍的所有根本元素)来简化此过程。使用自然语言界面,开发职员可以快速定义其Agent的关键元素(目标、任务说明、工具、用于任务委托的子Agent以及示例),以轻松构建所需的系统举动。