【AIGC】大模子口试高频考点-RAG篇

（1）RAG的基本原理

RAG 检索加强生成由2部分构成：一是离线对异构的数据进行数据工程处置惩罚成知识，并存储在知识库中，二是基于用户的提问进行知识库的检索加强。详细步骤如下：

• 加载文件
  
• 读取文本
  
• 文本分割
  
• 文本向量化
  
• 问句向量化
  
• 在文本向量中匹配出与问句向量最相似的top k个
  
• 匹配出的文本作为上下文和标题一起添加到 prompt中
  
• 提交给LLM生成答复
  

原理如下图所示：
   

   

   

  RAG Prompt模版

1. 已知信息：{context}
2. 根据上述已知信息，简洁和专业的来回答用户的问题。如果无法从中得到答案，请说 “根据已知信息无法回答该 问
3. 题” 或 “没有提供足够的相关信息”，不允许在答案中添加编造成分，答案请使用中文。
4. 问题是：{question}

复制代码

（2）RAG有哪些评估方法？

主要有两种方法来评估 RAG 的有用性：独立评估和端到端评估。
（一）独立评估
先容： 独立评估涉及对检索模块和生成模块（即阅读和合成信息）的评估。
（1）检索模块：
先容： 评估 RAG 检索模块的性能通常使用一系列指标，这些指标用于衡量系统（如搜 索引擎、保举系统或信 息检索系统）在根据查询或任务排名项目标有用性。
评估指标： 命中率 (Hit Rate)、平均排名倒数 (MRR)、归一化折扣累积增益 (NDCG) 、**准确度 (Precision) **等。
（2）生成模块：
先容： 生成模块指的是将检索到的文档与查询相结合，形成加强或合成的输入。这与最 终答案或相应的生成不
同，后者通常采用端到端的评估方式。
评估指标： 关注上下文相关性，即检索到的文档与查扣标题的关联度。
（二）端到端评估
先容： 对 RAG 模子对特定输入生成的最终相应进行评估，涉及模子生成的答案与输入 查询的相关性和同等性。
无标签的内容评估：
评价指标：答案的准确性、相关性和无害性
有标签的内容评估：
评价指标：准确率 (Accuracy) 和准确匹配 (EM)
（3）RAG有哪些评估框架？

在 RAG 评估框架范畴，RAGAS 和 ARES 是较新的方法。
1.RAGAS
RAGAS 是一个基于简朴手写提示的评估框架，通过这些提示全自动地衡量答案的准确性、 相关性和上下文相关 性。
算法原理：

• 答案老实度评估： 利用大语言模子 (LLM) 分解答案为多个陈述，检验每个陈述与上下文 的同等性。最终，根 据支持的陈述数量与总陈述数量的比例，盘算出一个“老实度得分”。
  
• 答案相关性评估： 使用大语言模子 (LLM) 创造可能的标题，并分析这些标题与原始标题 的相似度。答案相关性得分是通过盘算所有生成标题与原始标题相 似度的平均值来得出的。
  
• 上下文相关性评估： 运用大语言模子 (LLM) 筛选出直接与标题相关的句子，以这些 句子 占上下文总句子数量的比例来确定上下文相关性得分。
  

2.ARES
ARES 的目标是自动化评价 RAG 系统在上下文相关性、答案老实度和答案相关性三个方 面的性能。ARES 淘汰了评估成本，通过使用少量的手动标注数据和合成数据，并应用预测 驱动推理 (PDR) 提供统计置信区间，提 高了评估的准确性。
算法原理：

• 生成合成数据集： ARES 首先使用语言模子从目标语料库中的文档生成合成标题和答案，创 建正负两种样本。
  
• 练习大语言模子 (LLM) 裁判： 然后，ARES 对轻量级语言模子进行微调，利用合成数据集 练习它们以评估上下 文相关性、答案老实度和答案相关性。
  
• 基于置信区间对RAG 系统排名： 最后，ARES 使用这些裁判模子为 RAG 系统打分，并结 合手动标注的验证集 ，采用 PPI 方法生成置信区间，从而可靠地评估 RAG 系统的性能。
  

（4）RAG各模块有哪些优化计谋？

• 文档块切分： 设置得当的块间重叠、多粒度文档块切分、基于语义的文档切分、文档块择要。
  
• 文本嵌入模子： 基于新语料微调嵌入模子、动态表征。
  
• 提示工程优化： 优化模板增加提示词束缚、提示词改写。
  
• 大模子迭代： 基于正反馈微调模子、量化感知练习、提供大context window 的推理模子。此外，还可对query召回的文档块集合进行处置惩罚，如：元数据过滤、重排序淘汰文档块数量。
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。