ToB企服应用市场:ToB评测及商务社交产业平台

标题: 一文搞懂大模子、RAG、函数调用、Agent、知识库、向量数据库、知识图谱、AG [打印本页]
作者: 科技颠覆者    时间: 2024-12-11 10:58
标题: 一文搞懂大模子、RAG、函数调用、Agent、知识库、向量数据库、知识图谱、AG
当我们把AI大模子视作人的大脑时，调用A大模子就如同调用一个人的智慧。将AI大模子人格化，意味着它应该能够明白人类的语言（懂人话）、用人类的语言举行表达（说人话），并直接给出效果。然而，重要的是要认识到，只管AI大模子可以提供快速的答案，但这些效果并不总是完全准确。
在AI大模子的推理底子上，我们采用了多种技能手段来实现真正的AGI（通用人工智能），这些技能包括Prompt、RAG、Agent、知识库、向量数据库和知识图谱等。这些技能各自有其独特的作用和优势，但同时也相互关联，共同推动着AGI的发展。这些技能到底有哪些区别和接洽，下图作了横向对比，接下来我们详细剖析下。

01 大语言模子（LLM）
大语言模子（LLM） 是AI领域的重要支柱，通过深度学习方法利用巨大的文本数据集举行训练，从而具备了生成自然流畅语言文本以及准确明白语言深层语义的本领。这些模子广泛应用于自然语言处理任务，如文本分类、智能问答和人机交互对话等。
已往一年，大语言模子及其在AI领域的应用受到了环球科技界的瞩目。特别是模子规模的明显增长，参数量从数十亿激增到现在的万亿级别，使得模子在捕获人类语言微妙差别和洞察复杂本质方面更加精准。
随着OpenAI GPT-4o的发布，我们回顾已往一年，大语言模子在多个方面取得了明显进步。这些进步包括高效吸纳新知识、有效分解复杂任务以及图文精准对齐等。随着技能的不断演进和美满，大语言模子将继续拓展其应用界限，为人们带来更加智能化、个性化的服务体验，从而深刻改变我们的生活方式和生产模式。

大语言模子拥有推理本领，TA 是一切应用的基石。
02 提示词工程（Prompt）
纯Prompt技能架构可以视为与大语言模子交互的最原始、最直观方式。这种方式在任务服从上表现精彩，由于有效的Prompt能够最大限度地引发模子的最佳性能。之前我们已分享过，Prompt技能是模子效果优化的两条重要路径之一（微调和RAG技能）的共同底子。OpenAI官网也提供了关于优化Prompt的教程，大家可以进一步了解。
从更深层次来看，Prompt更像是一个引导模子展现其内部优秀性能的指南。当模子基于大量数据举行学习时，它会总结出许多in-context-learning的内部规律。一个好的Prompt能够引发这些精确的规则，从而引导模子展现出更好的性能。
在交互方式上，Prompt技能使得大语言模子与人类之间的交互变得极为友好。它就像人与人之间的对话，你说一句，AI回应一句，简单直接，无需对模子举行复杂的权重更新或处理。这种交互方式使得人们能够更自然地与AI举行沟通和交流。

03 检索增强生成（RAG）
RAG（Retrieval-Augmented Generation）技能是一种团结检索与生成本领的知识增强方案，专门用于应对复杂多变的信息查询和生成挑衅。在当前大模子期间的背景下，RAG技能巧妙地集成了外部数据源，如本地知识库或企业信息库，为AI大模子赋予了更加强大的检索和生成本领。通过这种方法，RAG技能明显提升了信息查询和生成的品质，使得AI体系能够更准确地明白和回应用户的需求。

RAG技能的核心在于团结先进的向量数据库与大模子的智能问答本领。知识库信息存储在向量数据库中，体系能敏捷检索相干片段。这些片段与大模子智慧团结，产生精确全面的回答。此技能极大进步AI处理复杂题目的准确性和相应速率，为用户带来优质高效体验。
总之，RAG 技能就是给大语言模子新知识。
04 函数调用（Fuction Calling）
大模子要实现精确的函数调用（Function Calling）必要明白本领和逻辑本领，明白本领就是对用户的Prompt提示词能够辨认意图，然后通过逻辑本领给出必要调用执行的函数，具体流程如下：

1、大模子何时会调用函数 API？
调用函数API 在交互情势上有两种方式：第一是让用户直接选择调用函数，第二是大模子会推理判定要调用的函数 API。
2、大模子怎么Function Calling调用函数 API ？
起首把函数API的元信息（函数名称、函数描述、函数参数等）注册给大模子，让大模子学习函数聚集，当用户查询时，大模子根据用户的Prompt提示词选择对应的函数API。
3、函数API谁来具体执行？
大模子根据用户的Prompt哀求确定具体的函数API后，由 Agent负责具体的执行。
4、函数API返回的内容咋处理？
Agent把Function Calling函数 API 调用返回的效果返回给大模子，大模子进一步加工处理后返回给用户终极效果。
05 智能体（Agent）
在AI大模子期间，任何具备独立思考本领并能与环境举行交互的实体，都可以被抽象地描述为智能体（Agent）。这个英文词汇在AI领域被普遍采纳，用以指代那些能够自主活动的软件或硬件实体。在国内，我们习惯将其译为“智能体”，只管已往也曾出现过“署理”、“署理者”或“智能主体”等译法。
智能体构建在大语言模子的推理本领底子上，对大语言模子的 Planning规划的方案利用工具执行（Action） ，并对执行的过程举行观测（Observation），保证任务的落地执行。

举个例子来方便明白：
想象一个机器人管家。这个机器人能够明白你的指令，比如“请打扫客堂”，而且能够执行这个任务。机器人管家就是一个agent，它能够自主地感知环境(比如辨认哪些地方是客堂)，做出决策(比如决定打扫的顺序和方法)，并执行任务(比如利用吸尘器打扫)。在这个比喻中，机器人管家是一个能够自主行动和做出复杂决策的实体。
总之，Agent 智能体 = 大语言模子的推理本领 + 利用工具行动的本领。

06 知识库
对企业而言，构建符合业务需求的知识库至关重要。利用RAG、微调等技能，可将通用大模子变化为深度明白特定行业的“行业专家”，服务于企业具体需求。这类知识库适用于多行业，如市场调研、人力资源、项目管理等。
其技能架构分两部分：
一是离线的知识数据向量化，包括加载数据/知识库、拆分文本、Embedding向量化处理，最后将向量化的数据块存储于VectorDB，以便于搜刮。

二是在线的知识检索返回
检索：利用检索器从存储中检索与用户输入相干的Chunk。
生成：团结题目和检索到的知识提示词，利用大语言模子生成答案。

总之，知识库是 AI 大模子应用的知识底子。
07 向量数据库
向量数据库专注于存储和查询文本的向量化表示，源自文本、语音、图像等数据。相比传统数据库，它更擅优点理非结构化数据如文本、图像和音频。在处理机器学习、深度学习中的向量数据时，其高效存储、索引和搜刮高维数据点的本领尤为突出，适用于数值特征、文本或图像嵌入等复杂数据的处理。

总之，知识库的存储载体往往是向量数据库，别的在数据存储和检索上，向量数据库以向量空间模子高效存储和检索高维数据，为 AI 大模子和 Agent 智能体提供强有力的数据支持。
08 知识图谱
知识图谱是基于实体和关系的图结构数据库，用于表示和管理知识。它采用结构化数据模子存储、管理并显示人类语言知识，通过语义抽取建立实体间的关系形成树状结构。实体如人、地点、组织等具有属性和关系，这些关系连接不同实体。知识图谱揭示知识领域动态发展规律，为学科研究提供参考。在医疗领域，知识图谱支持临床诊疗、数据整合与利用，通过实体辨认、关系抽取和数据集训练，以图谱情势展示关键节点和接洽，支持精准医疗决策。

与此同时，在智能推荐、自然语言处理、机器学习等领域也具有广泛的应用。尤其在搜刮引擎领域，它能够进步搜刮的准确性，为用户提供更加精准的搜刮效果。
总之，知识图谱本质上是一种叫作语义网络的知识库，即一个具有有向图结构的知识库，其中图的结点代表实体或者概念，而图的边代表实体/概念之间的各种语义关系。
09 AGI
AGI作为AI发展的终极愿景，旨在实现智能体系像人类一样明白和处理复杂情况与任务的本领。在此过程中，AI大模子、Prompt Engineering、Agent智能体、知识库、向量数据库、RAG及知识图谱等技能至关重要。这些技能元素相互协作，推动AI技能持续发展，为实现AGI目的奠定坚实底子。
与目前常见的“窄人工智能”（ANI，Artificial Narrow Intelligence）不同，AGI能够处理多种不同的题目，而不但仅是针对特定任务计划的算法。窄人工智能通常在特定领域内表现精彩，例如语音辨认、图像辨认或棋类游戏等，但它们缺乏跨领域的通用性和顺应性。
AGI的关键特征包括：

目前，AGI仍旧是人工智能研究的前沿领域，尚未实现。许多研究者正在探索如何构建如许的体系，但存在许多技能和伦理上的挑衅。
那么，如何体系的去学习大模子LLM？

我在一线互联网企业工作十余年里，指导过不少偕行后辈。帮助许多人得到了学习和成长。
作为一名热心肠的互联网老兵，我意识到有许多经验和知识值得分享给大家，也可以通过我们的本领和经验解答大家在人工智能学习中的许多狐疑，所以在工作繁忙的情况下还是对峙各种整理和分享。
但苦于知识传播途径有限，许多互联网行业朋侪无法获得精确的资料得到学习提升，故此将并将重要的AI大模子资料包括AI大模子入门学习头脑导图、佳构AI大模子学习册本手册、视频教程、实战学习等录播视频免费分享出来。
所有资料 ⚡️ ，朋侪们假如有必要全套 《LLM大模子入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：





欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4