张裕 发表于 2025-4-12 23:41:18

RAG的实现快速示例

RAG(Retrieval-Augmented Generation)实在就是结合了检索与生成,核心流程分为 检索(Retrieval) 和 生成(Generation) 两大阶段,通过外部知识库增强生成式模型的准确性和可靠性。
流程实在也很简朴,如下图:
https://i-blog.csdnimg.cn/img_convert/ddff3176c5bc74138bf8f802300a6a3f.png
关于RAG的根本概念的介绍,可以参考:
RAG(检索增强生成)快速入门
本篇通过一个快速示例演示RAG的实现。
本篇的开发环境

由于本篇旨在演示RAG的快速实现,所有利用的都是比较小型的模型,实际应用和开发可以选取大的模型,这样的效果会比较好。


[*]嵌入模型:all-MiniLM-L6-v2, 用于将文本转换为向量,向量维度384
[*]自然语言模型:Qwen2.5-0.5B-Instruct
[*]向量数据库: LanceDB
[*]开发语言: Python
[*]开发IDE: VS Code
实现目标

如果有以下文本内容:
   "熊猫是中国的国宝,主要栖息在四川山区。",
    "长城是古代中国建造的军事防御工事,全长超过2万公里。",
    "量子计算利用量子力学原理进行信息处理,相比经典计算机有显著优势。"
现在须要通过RAG获取 “熊猫栖息地?”的答案。
实现步骤

通过嵌入模型获取文本的向量

model = SentenceTransformer('sentence-transformers/all-MiniLM-L6-v2')
documents = [
    "熊猫是中国的国宝,主要栖息在四川山区。",
    "长城是古代中国建造的军事防御工事,全长超过2万公里。",
    "量子计算利用量子力学原理进行信息处理,相比经典计算机有显著优势。"
]
# 获取嵌入向量
embeddings = model.encode(documents)
vector_dim =len(embeddings) #获取向量的维度,这里是384
上面三句话的向量是3个维度是384的数字的数组,如下所示:


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: RAG的实现快速示例