RAG的实现快速示例

RAG（Retrieval-Augmented Generation）实在就是结合了检索与生成，核心流程分为 检索（Retrieval） 和 生成（Generation） 两大阶段，通过外部知识库增强生成式模型的准确性和可靠性。
流程实在也很简朴，如下图：

关于RAG的根本概念的介绍，可以参考：
RAG(检索增强生成)快速入门
本篇通过一个快速示例演示RAG的实现。
本篇的开发环境

由于本篇旨在演示RAG的快速实现，所有利用的都是比较小型的模型，实际应用和开发可以选取大的模型，这样的效果会比较好。

• 嵌入模型：all-MiniLM-L6-v2， 用于将文本转换为向量，向量维度384
  
• 自然语言模型：Qwen2.5-0.5B-Instruct
  
• 向量数据库： LanceDB
  
• 开发语言： Python
  
• 开发IDE： VS Code
  

实现目标

如果有以下文本内容：

1.      "熊猫是中国的国宝，主要栖息在四川山区。",
2.     "长城是古代中国建造的军事防御工事，全长超过2万公里。",
3.     "量子计算利用量子力学原理进行信息处理，相比经典计算机有显著优势。"

复制代码

现在须要通过RAG获取 “熊猫栖息地?”的答案。
实现步骤

通过嵌入模型获取文本的向量

1. model = SentenceTransformer('sentence-transformers/all-MiniLM-L6-v2')
2. documents = [
3.     "熊猫是中国的国宝，主要栖息在四川山区。",
4.     "长城是古代中国建造的军事防御工事，全长超过2万公里。",
5.     "量子计算利用量子力学原理进行信息处理，相比经典计算机有显著优势。"
6. ]
7. # 获取嵌入向量
8. embeddings = model.encode(documents)
9. vector_dim =  len(embeddings[0]) #获取向量的维度，这里是384

复制代码

上面三句话的向量是3个维度是384的数字的数组，如下所示：


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。