【RAG 项目实战 05】重构：封装代码

【RAG 项目实战 05】重构：封装代码

---

NLP Github 项目：

• NLP 项目实践：fasterai/nlp-project-practice
  介绍：该堆栈围绕着 NLP 任务模型的计划、训练、优化、摆设和应用，分享大模型算法工程师的日常工作和实战履历
  
• AI 藏经阁：https://gitee.com/fasterai/ai-e-book
  介绍：该堆栈主要分享了数百本 AI 领域电子书
  
• AI 算法面经：fasterai/nlp-interview-handbook#面经
  介绍：该堆栈一网打尽互联网大厂NLP算法面经，算法求职必备神器
  
• NLP 剑指Offer：https://gitee.com/fasterai/nlp-interview-handbook
  介绍：该堆栈汇总了 NLP 算法工程师高频面题
  

---

• 新增 common.py
  
• 改造 llm_util.py
  
• 新增 chain_util.py
  
• 新增 msg_util.py
  
• 改造 app.py
  

新增 common.py

1. # @Author：青松
2. # 公众号：FasterAI
3. # Python, version 3.10.14
4. # Pytorch, version 2.3.0
5. # Chainlit, version 1.1.301
8. class Constants:
9.     MODEL_NAME = {
10.         'QianFan': 'QianFan'
11.     }

复制代码

改造 llm_util.py

1. # @Author：青松
2. # 公众号：FasterAI
3. # Python, version 3.10.14
4. # Pytorch, version 2.3.0
5. # Chainlit, version 1.1.301
7. from common import Constants
8. from langchain_community.chat_models import QianfanChatEndpoint
10. # 加载环境变量
11. from dotenv import load_dotenv
13. load_dotenv()
16. def get_llm(model_name):
17.     llm = None
19.     try:
20.         if model_name == Constants.MODEL_NAME['QianFan']:
21.             llm = QianfanChatEndpoint(
22.                 streaming=True,
23.                 model="ERNIE-Speed-8K",
24.             )
25.     except:
26.         llm = get_default_llm()
27.     finally:
28.         if llm is None:
29.             llm = get_default_llm()
30.         return llm
33. def get_default_llm():
34.     default_llm = QianfanChatEndpoint(
35.         streaming=True,
36.         model="ERNIE-Speed-8K",
37.     )
39.     return default_llm

复制代码

新增 chain_util.py

1. # @Author：青松
2. # 公众号：FasterAI
3. # Python, version 3.10.14
4. # Pytorch, version 2.3.0
5. # Chainlit, version 1.1.301
7. from langchain.prompts import ChatPromptTemplate
8. from langchain_core.output_parsers import StrOutputParser
9. from langchain_core.prompts import MessagesPlaceholder
10. from langchain_core.runnables import RunnablePassthrough
11. from langchain_core.vectorstores import VectorStore
14. def get_chat_chain(llm):
15.     # 提示模板中添加 chat_history
16.     prompt = ChatPromptTemplate.from_messages(
17.         [
18.             (
19.                 "system",
20.                 "你是一个中国古诗词专家，能准确的一字不差的背诵很多古诗词，请用你最大的能力来回答用户的问题。",
21.             ),
22.             MessagesPlaceholder("chat_history"),
23.             ("human", "{question}"),
24.         ]
25.     )
26.    
27.     chat_chain = prompt | llm | StrOutputParser()
28.    
29.     return chat_chain

复制代码

新增 msg_util.py

1. # @Author：青松
2. # 公众号：FasterAI
3. # Python, version 3.10.14
4. # Pytorch, version 2.3.0
5. # Chainlit, version 1.1.301
7. import chainlit as cl
8. from langchain_core.chat_history import BaseChatMessageHistory
9. from langchain_core.runnables import RunnableConfig
10. from langchain_core.runnables.history import RunnableWithMessageHistory
11. from langchain_community.chat_message_histories import ChatMessageHistory
13. # 存储对话历史
14. store = {}
17. def get_session_history(session_id: str) -> BaseChatMessageHistory:
18.     if session_id not in store:
19.         store[session_id] = ChatMessageHistory()
20.     return store[session_id]
23. async def send_welcome_msg():
24.     # todo： 添加 FasterAI 知识星球图片以及 FastAI 知识库地址
25.     image = cl.Image(url="https://qingsong-1257401904.cos.ap-nanjing.myqcloud.com/wecaht.png")
27.     # 发送一个图片
28.     await cl.Message(
29.         content="**青松** 邀你关注 **FasterAI**， 让每个人的 AI 学习之路走的更容易些！立刻扫码开启 AI 学习、面试快车道 **(^_^)** ",
30.         elements=[image],
31.     ).send()
34. async def response_with_history_by_astream(message: cl.Message, chain, session_id):
35.     # 用 RunnableWithMessageHistory 包装 Chain 添加对话历史能力
36.     runnable_with_history = RunnableWithMessageHistory(
37.         chain,
38.         get_session_history,
39.         input_messages_key="question",
40.         history_messages_key="chat_history",
41.     )
43.     msg = cl.Message(content="")
45.     # 配置中使用 session_id 进行大模型交互
46.     async for chunk in runnable_with_history.astream(
47.             {"question": message.content},
48.             config=RunnableConfig(configurable={"session_id": session_id},
49.                                   callbacks=[cl.LangchainCallbackHandler()])
50.     ):
51.         await msg.stream_token(chunk)
53.     await msg.send()

复制代码

改造 app.py

1. # @Author：青松
2. # 公众号：FasterAI
3. # Python, version 3.10.14
4. # Pytorch, version 2.3.0
5. # Chainlit, version 1.1.301
7. import chainlit as cl
9. from common import Constants
10. import chain_util
11. import llm_util
12. import msg_util
14. # 获取大模型实例
15. llm = llm_util.get_llm(Constants.MODEL_NAME['QianFan'])
18. @cl.password_auth_callback
19. def auth_callback(username: str, password: str):
20.     """ 持久化客户端聊天历史代码，不需要请删除 """
21.     if (username, password) == ("admin", "admin"):
22.         return cl.User(
23.             identifier="admin", metadata={"role": "admin", "provider": "credentials"}
24.         )
25.     else:
26.         return None
29. @cl.on_chat_start
30. async def on_chat_start():
31.     """ 监听会话开始事件 """
33.     # 添加 session_id
34.     cl.user_session.set('session_id', 'abc2')
36.     # 发送欢迎信息
37.     await msg_util.send_welcome_msg()
39.     # 初始化链
40.     init_chains()
43. @cl.on_message
44. async def on_message(message: cl.Message):
45.     """ 监听用户消息事件 """
47.     # 获得对话链
48.     chat_chain = cl.user_session.get("chat_chain")
50.     # 获取当前的 session_id
51.     session_id = cl.user_session.get("session_id")
53.     # 使用对话历史通过 astream 的方式响应用户消息
54.     await msg_util.response_with_history_by_astream(message, chat_chain, session_id)
57. def init_chains():
58.     """ 初始化系统中的链 """
60.     # 对话链
61.     chat_chain = chain_util.get_chat_chain(llm)
62.     cl.user_session.set("chat_chain", chat_chain)

复制代码

---

【动手学 RAG】系列文章：

• 【RAG 项目实战 01】在 LangChain 中集成 Chainlit
  
• 【RAG 项目实战 02】Chainlit 长期化对话汗青
  
• 【RAG 项目实战 03】优雅的管理环境变量
  
• 【RAG 项目实战 04】添加多轮对话能力
  
• 【RAG 项目实战 05】重构：封装代码
  
• 【RAG 项目实战 06】使用 LangChain 联合 Chainlit 实现文档问答
  
• 【RAG 项目实战 07】更换 ConversationalRetrievalChain（单轮问答）
  
• 【RAG 项目实战 08】为 RAG 添加汗青对话能力
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。