RAG理论到实践：高级、模块化RAG在AI工程架构中的行业通用办理方案与实施策 ...

RAG理论到实践：高级、模块化RAG在AI工程架构中的行业通用办理方案与实施策略(Advanced RAG✨)

随着 ChatGPT 的兴起，大语言模子再次走进人们的视野，其在 NLP 范畴表现出的语言识别、明白以及推理能力令人惊叹。越来越多的行业开始探索大语言模子的应用，比如政务、医疗、交通、导购等行业。
通义系列、GPT 系列、LLama 系列等模子，在语言交互场景下表现非常抢眼。以 Gemini 为代表这类大模子甚至发展出了视觉和听觉，朝着智能体的方向演化。他们在多个指标上展现的能力甚至已经凌驾了人类。然而，大型语言模子也存在诸多不敷：

• 知识的范围性：模子知识的广度获取严肃依靠于训练数据集的广度，目前市面上大多数的大模子的训练集来源于网络公开数据集，对于一些内部数据、特定范畴或高度专业化的知识，无从学习。
  
• 知识的滞后性：模子知识的获取是通过使用训练数据集训练获取的，模子训练后产生的一些新知识，模子是无法学习的，而大模子训练成本极高，不可能常常为了弥补知识而进行模子训练。
  
• 幻觉问题：所有的 AI 模子的底层原理都是基于数学概率，其模子输出实质上是一系列数值运算，大模子也不例外，所以它有时候会一本正经地颠三倒四，尤其是在大模子自身不具备某一方面的知识或不擅长的场景。而这种幻觉问题的区分是比较困难的，由于它要求使用者自身具备相应范畴的知识。
  
• 数据安全性：对于企业来说，数据安全至关重要，没有企业愿意负担数据走漏的风险，将自身的私域数据上传第三方平台进行训练。这也导致完全依靠通用大模子自身能力的应用方案不得不在数据安全和结果方面进行取舍。为了办理纯参数化模子的范围，语言模子可以采取半参数化方法，将非参数化的语料库数据库与参数化模子相联合。这种方法被称为 RAG（Retrieval-Augmented Generation）。
  

1.RAG简介

词汇表明说明embedding嵌入（embedding）是指将高维数据映射为低维表现的过程。在呆板学习和天然语言处理中，嵌入通常用于将离散的符号或对象表现为一连的向量空间中的点。在天然语言处理中，词嵌入（word embedding）是一种常见的技术，它将单词映射到实数向量，以便盘算机可以更好地明白和处理文本。通过词嵌入，单词之间的语义和语法关系可以在向量空间中得到反映。VectorDB向量数据库是一种特殊范例的数据库，它可以存储和处理向量数据。向量数据通常用于表现多维度的数据点，例如在呆板学习和人工智能中使用的数据。在向量数据库中，数据被表现为向量，这些向量可以在多维空间中进行比较和搜索。 RAG 是 Retrieval-Augmented Generation（检索增强天生）的缩写，它是一种用于天然语言处理和文本天生的模子框架。RAG 联合了信息检索和文本天生的技术，旨在通过检索相关信息来增强文本天生的质量和相关性。在 RAG 中，检索阶段用于从大规模的知识库中获取与正在天生的文本相关的信息。这些信息可以包括文本片断、实体、究竟、知识等。天生阶段则使用检索到的信息来天生天然语言文本，使得天生的文本更加准确、相关和丰富。
RAG 模子通常基于大规模的预训练语言模子（如 BERT、GPT 等），并联合了信息检索技术和文本天生技术。这种模子框架在问答体系、对话体系、摘要天生等天然语言处理任务中具有广泛的应用。总的来说，RAG 是一种联合了信息检索和文本天生技术的模子框架，旨在通过检索相关信息来增强天然语言文本的天生过程。

• RAG 的组成部分
  

RAG（Retrieval-Augmented Generation）模子框架包括以下几个关键组成部分：

• 检索器（Retriever）：检索器是 RAG 框架中的一个重要组成部分，用于从大规模的知识库中检索相关的信息。这些信息可能是文本片断、图像、视频等。检索器可以使用各种信息检索技术，如倒排索引、BM25 等，以有效地从知识库中检索相关的内容。
  
• 天生器（Generator）：天生器是 RAG 框架中的另一个关键组成部分，用于使用从检索器中检索到的信息来天生天然语言文本。天生器通常基于大规模的预训练语言模子（如 BERT、GPT 等），能够产生丰富、流通且相关性强的文本输出。
  
• 交互式组件（Interactive Components）：RAG 模子可能还包括一些交互式组件，用于在检索和天生之间进行交互性使用，以进一步进步天生文本的质量。这些组件可以包括重写模块、排序模块等，用于对检索到的信息进行进一步加工和处理。
  
• 团结训练框架（Joint Training Framework）：RAG 模子也可能包括一个团结训练框架，用于同时优化检索器和天生器，以使它们能够更好地协同工作，产生更准确、相关和丰富的文本输出。
  

总的来说，RAG 模子框架重要由检索器、天生器以及可能的交互式组件和团结训练框架组成。这些组件共同作用，使用检索的信息来增强文本天生的质量和相关性。RAG 的计划使其具有广泛的应用潜力，特别是在问答体系、对话体系和摘要天生等范畴。
如今固然在 RAG 架构上出现了初级 RAG、高级 RAG 以及模块化 RAG 的架构计划，但都是在上面的 4 个关键部分内做一些模块删减或做一些架构调整。基本数据流如下：

针对所有自学遇到困难的同学们，我帮各人体系梳理大模子学习脉络，将这份 LLM大模子资料 分享出来：包括LLM大模子书籍、640套大模子行业陈诉、LLM大模子学习视频、LLM大模子学习门路、开源大模子学习教程等,