LLM+RAG开辟实战：开辟情况搭建与检索增强代码实现

准备情况

miniconda

作用：

• ​虚拟情况：为每个项目创建独立的Python情况（如Python 3.10），避免全局安装导致版本冲突。
  
• ​依赖管理：通过conda或pip精准安装AI框架（如PyTorch、LangChain），解决库版本兼容性问题。
  

安装：

• 下载地址：miniconda下载 下载一个较新版本，比方：Miniconda3-py312_24.11.1-0-Windows-x86_64.exe
  
• 安装
  
• 编辑Path变量，新增：D:\ProgramData\miniconda3 D:\ProgramData\miniconda3\Scripts D:\ProgramData\miniconda3\Library\bin ，验证：打开cmd，输入conda info，看到信息说明配置成功
  

ollama

作用：

• ​开箱即用：无需配置复杂情况，直接下载运行Llama3、Mistral等开源大模型。
  
• ​简化交互：提供雷同OpenAI的REST API，方便通过代码调用模型天生文本。
  
• ​轻量化：支持CPU/GPU运行，适合本地测试和小规模部署。
  

安装：

• 下载地址：ollama下载
  
• 安装
  
• 情况变量：新增系统变量OLLAMA_MODELS=D:\OllamaModels
  

向量数据库

这里使用的是Chroma，需要通过pip安装langchain-chroma库
作用：

• ​存储向量：将文本、图片等数据转换为向量（一组数字），实现语义检索。
  
• ​加快检索：通过近似算法（如Faiss）快速查找相似内容，支持大模型的RAG（检索增强天生）。
  

​典型工具：

• Chroma（轻量级）
  
• Milvus（高性能）
  

python虚拟情况

• 创建python虚拟情况：conda create -n llm-rag python=3.12.8
  
• 进入情况：conda activate llm-rag
  
• 安装相干包：pip install langchain langchain-community langchain-ollama langchain-chroma jupyterlab
  

库说明

• LangChain 是一个用于构建基于大语言模型（LLMs）应用步伐的开源框架，目的是简化将语言模型与其他工具、数据源和业务逻辑集成的流程，帮助开辟者快速开辟对话系统、问答工具、自动化工作流等AI应用。
  
• langchain-community 是 LangChain 生态系统中的一个官方子包，用于存放由社区贡献或维护的第三方集成、工具和扩展。它的主要目的是将非核心功能从主包 langchain 中分离出来，使 LangChain 的核心库更加轻量，同时允许社区更灵活地维护和更新外部依赖的功能。
  
• langchain-ollama 是一个将 ​LangChain 框架与 ​Ollama 工具集成的库，旨在简化在本地情况中使用大型语言模型（LLMs）开辟应用的流程。
  
• langchain-chroma 是 LangChain 框架与 Chroma 向量数据库的集成组件，用于在基于大型语言模型（LLM）的应用中高效存储、检索文本数据的向量嵌入。
  
• JupyterLab 是一款开源的交互式开辟情况（IDE）​，专为数据科学、机器学习和科学计算设计。它是传统 Jupyter Notebook 的升级版，提供了更现代化、灵活的界面和功能，支持用户在一个集成的 Web 界面中同时使用多种工具（如代码编辑器、Notebook、终端、可视化工具等）。输入jupyter lab回车即可打开jupyterlab页面。可以使用jupyterlab编写代码，但这里使用的是PyCharm开辟工具。
  

下载模型

• ollama pull deepseek-r1:1.5b
  
• ollama pull autumnzsd/nlp_gte_sentence-embedding_chinese-large:latest
  

PyCharm

• 请安装PyCharm较新版本，比方：PyCharm 2024.3.4
  
• 创建新项目：File -> New Project...
  
• Interpreter Type选择Custom environment， Type选择Conda， Path to conda选择D:\ProgramData\miniconda3_conda.exe， Environment选择之前创建的D:\ProgramData\miniconda3\envs\llm-rag， 点击Create创建， 然后就可以创建py文件开辟了。
  

代码实现

知识库文本分割与向量化存储

1. from langchain_community.document_loaders import TextLoader  # 导入文本
2. from langchain_text_splitters import RecursiveCharacterTextSplitter  # 文本切割
3. from langchain_ollama import OllamaEmbeddings  # 绑定向量模型
4. from langchain_chroma import Chroma  # 数据向量化入库
5. import os
8. def saveToVectorDB(filePath):
9.     loader = TextLoader(filePath, encoding="utf-8")
10.     txt = loader.load()
11.     print(txt)
13.     textSpliter = RecursiveCharacterTextSplitter(
14.         separators=["\n\n", "\r\n", "\n", "。", ".", "！", "!", "，", ",", "、", " ", ""],
15.         chunk_size=150,
16.         chunk_overlap=50,
17.     )
18.     allSpliter = textSpliter.split_documents(txt)
19.     print(allSpliter)
21.     # 绑定向量模型
22.     Embeddings = OllamaEmbeddings(model="autumnzsd/nlp_gte_sentence-embedding_chinese-large:latest")
24.     # 数据向量化入库
25.     persist_dir = "./vector_db"
26.     if os.path.exists(persist_dir):
27.         db = Chroma(
28.             embedding_function=Embeddings,
29.             persist_directory=persist_dir,
30.             collection_metadata={"hnsw:space": "cosine"}
31.         )
32.         db.add_documents(documents=allSpliter)
33.     else:
34.         db = Chroma.from_documents(
35.             documents=allSpliter,
36.             embedding=Embeddings,
37.             persist_directory=persist_dir,
38.             collection_metadata={"hnsw:space": "cosine"}
39.         )
40.     print("count=", db._collection.count())
43. saveToVectorDB(os.getcwd() + "\\docs\\断网离线部署方法.txt")
44. saveToVectorDB(os.getcwd() + "\\docs\\公司产品手册.md")
45. saveToVectorDB(os.getcwd() + "\\docs\\公司员工手册(AI生成).md")

复制代码

向量数据库查询

1. from langchain_ollama import OllamaEmbeddings
2. from langchain_chroma import Chroma
5. def queryVectorDB(queryText):
6.     # 绑定向量模型
7.     Embeddings = OllamaEmbeddings(model="autumnzsd/nlp_gte_sentence-embedding_chinese-large:latest")
9.     db = Chroma(persist_directory="./vector_db", embedding_function=Embeddings)
11.     # 查询
12.     # retriever = db.as_retriever(search_kwargs={"k": 3})
13.     retriever = db.as_retriever(search_type="similarity_score_threshold",
14.                                 search_kwargs={"k": 10, "score_threshold": 0.48})
15.     results = retriever.invoke(queryText)
17.     return "\n\n".join(doc.page_content for i, doc in enumerate(results, start=1))

复制代码

基于RAG的DeepSeek模型问答实现

1. from langchain_core.prompts import ChatPromptTemplate  # 构建prompt
2. from langchain_ollama import ChatOllama  # 使用ollama进行回答
3. from langchain_core.output_parsers import StrOutputParser  # 输出格式化
4. import QueryVectorDB
7. def chat(question):
8.     dbResult = QueryVectorDB.queryVectorDB(question)
10.     # prompt模板
11.     prompt = ChatPromptTemplate.from_template("""
12.     请根据已知信息回答问题
13.    
14.     ## 已知信息：
15.     {context}
16.    
17.     ## 问题：
18.     {question}
19.    
20.     ## 限制:
21.     - 回答时请注意问题和已知信息的相关性。
22.     - 只回答与已知信息相关的问题，拒绝回答无关话题。
23.     - 所输出的内容必须逻辑清晰、有条理。
24.     - 回答内容需基于已知信息，若已知信息中无相关内容，需明确告知用户无对应答案。
25.     """)
27.     llm = ChatOllama(model="deepseek-r1:1.5b")  # 绑定大模型
29.     output_parser = StrOutputParser()  # 过滤不需要的输出信息
31.     rag_chain = prompt | llm | output_parser  # 绑定之前的config
33.     result = rag_chain.invoke({"question": question, "context": dbResult})
34.     return result
37. result = chat("华为公司员工的工作时间是几点到几点？")
38. print("deepseek回答1：\n", result)
39. result = chat("在华为工作了13年的员工能享受几天带薪年假？")
40. print("deepseek回答2：\n", result)
41. result = chat("华为公司有哪些保密规定？")
42. print("deepseek回答3：\n", result)
43. result = chat("华为Mate系统系列手机的特点是什么？")
44. print("deepseek回答4：\n", result)
45. result = chat("如何使用ollama离线部署deepseek？")
46. print("deepseek回答5：\n", result)

复制代码

完备源码

https://gitee.com/s0611163/llm-rag-demo
结束语

这是我首次学习大模型的实践，不足之处欢迎大家指正。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。