源码地址:https://github.com/chatchat-space/Langchain-Chatchat
零、准备
我这里是基于xinference的大模子推理环境,摆设的模子是:deepseek-r1-distill-qwen。
如果不相识摆设的童鞋参考:xinference摆设教学传送门
注意最好在新的环境(conda)中摆设,以防止依赖包版本冲突(官方也有强调)。
此中包罗了deepseek各种版本所需的配置,以及手把手教你摆设。
一、搭建开辟环境
参考官方源代码摆设开辟环境:传送门
按照官方的搭建开辟环境即可,这里注意一定要按照这个步调:
- 安装Poetry(我用pip)
- 安装所需依赖包
- 一般来说直接进入2设置源代码根目次 然后一直按步调往背面走就好了
二、运行
安装完之后,就可以运行了,可以试试与数据库对话,肯定报错,因为还没配置呢,嘿嘿~
- cd Langchain-Chatchat/libs/chatchat-server/chatchat
- python cli.py start -a
复制代码 三、修改配置
位置:在你环境变量CHATCHAT_ROOT下的data(这个文件是初始化天生的)里面。
3.1 修改model_settings.yaml
3.2 tool_settings.yaml
四、修改代码
1. qwen_agent.py
libs/chatchat-server/chatchat/server/agent/agent_factory/qwen_agent.py
方便复制:
- \*{0,2}Action:\*{0,2}\s*(.+?)\s*\*{0,2}Action Input:\*{0,2}\s*(?:```(?:json\n)?)?({.*?})(?:```)?
- tool_name: str = s[0].replace("[", "").replace("]", "").replace("*", "").strip()
- json_string: str = s[1].replace("\n", "").replace(" ", "").replace("*", "").strip()
- return AgentAction(tool=tool_name.strip(), tool_input=json_input, log=text)
- stop=["<|endoftext|>", "<|im_start|>", "<|im_end|>", "\nObservation:", "\n**Observation:**"]
复制代码 2. text2sql.py
libs/chatchat-server/chatchat/server/agent/tools_factory/text2sql.py
- "\n\n我会对一些表格做一些特别的说明:\n\n"
复制代码 3. chat.py
libs/chatchat-server/chatchat/server/chat/chat.py
不改也行,是个bug,导致模子的参数不生效,但是也有默认参数
- models = {
- }
- prompts = {
- }
- for model_type, params in configs.items():
- model_name
复制代码 免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
|