RAG的实现快速示例
RAG(Retrieval-Augmented Generation)实在就是结合了检索与生成,核心流程分为 检索(Retrieval) 和 生成(Generation) 两大阶段,通过外部知识库增强生成式模型的准确性和可靠性。流程实在也很简朴,如下图:
https://i-blog.csdnimg.cn/img_convert/ddff3176c5bc74138bf8f802300a6a3f.png
关于RAG的根本概念的介绍,可以参考:
RAG(检索增强生成)快速入门
本篇通过一个快速示例演示RAG的实现。
本篇的开发环境
由于本篇旨在演示RAG的快速实现,所有利用的都是比较小型的模型,实际应用和开发可以选取大的模型,这样的效果会比较好。
[*]嵌入模型:all-MiniLM-L6-v2, 用于将文本转换为向量,向量维度384
[*]自然语言模型:Qwen2.5-0.5B-Instruct
[*]向量数据库: LanceDB
[*]开发语言: Python
[*]开发IDE: VS Code
实现目标
如果有以下文本内容:
"熊猫是中国的国宝,主要栖息在四川山区。",
"长城是古代中国建造的军事防御工事,全长超过2万公里。",
"量子计算利用量子力学原理进行信息处理,相比经典计算机有显著优势。"
现在须要通过RAG获取 “熊猫栖息地?”的答案。
实现步骤
通过嵌入模型获取文本的向量
model = SentenceTransformer('sentence-transformers/all-MiniLM-L6-v2')
documents = [
"熊猫是中国的国宝,主要栖息在四川山区。",
"长城是古代中国建造的军事防御工事,全长超过2万公里。",
"量子计算利用量子力学原理进行信息处理,相比经典计算机有显著优势。"
]
# 获取嵌入向量
embeddings = model.encode(documents)
vector_dim =len(embeddings) #获取向量的维度,这里是384
上面三句话的向量是3个维度是384的数字的数组,如下所示:
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]