Qwen2.5-Coder-7B-Instruct模型本地部署，并实现简单的web对话 ...

在自己电脑上部署一个聊天机器人，实现简单的chat界面，适用于千问2大概千问2.5的模型。windows环境也通用，修改好对应的路径就可以。
该Qwen-Coder-7B模型加载进显存后约莫占用14G，支持流式传输，界面示例如图：

部署流程：

1、配置环境

在已经有torch+cuda的条件下，还必要以下几个库：

1.     pip install  transformers
2.     pip install  accelerate
3.     pip install  gradio

复制代码

其中transformers库需满足版本大于即是4.37.0，用来加载模型，accelerate用于加快模型，gradio用于生成前端界面。
2、下载模型文件

下载模型的地方：（魔搭社区）
点击此处下载模型：

提供了很多种下载方式，选择一种方式下载即可：

3、加载模型

下面代码是官方的示例

1. from transformers import AutoModelForCausalLM, AutoTokenizer
3. model_name = "path/to/your/model"
4. # 把这里修改成你下载的模型位置，比如我是/home/LLM/Qwen/Qwen2_5-Coder-7B-Instruct
6. model = AutoModelForCausalLM.from_pretrained( # 加载模型
7.     model_name,
8.     torch_dtype="auto",
9.     device_map="auto"
10. )
11. tokenizer = AutoTokenizer.from_pretrained(model_name) # 加载分词器
13. prompt = "Give me a short introduction to large language model.Answer it in Chinese"
14. messages = [
15.     {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
16.     {"role": "user", "content": prompt}
17. ]
18. text = tokenizer.apply_chat_template(
19.     messages,
20.     tokenize=False,
21.     add_generation_prompt=True
22. )
23. model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
25. generated_ids = model.generate(
26.     **model_inputs,
27.     max_new_tokens=512
28. )
30. response = tokenizer.decode(generated_ids[0], skip_special_tokens=True)
31. print(response)

复制代码

4、实现简单的chat功能，举行web访问

起首导入必要用到的库和几个全局变量

1. from threading import Thread
2. import gradio as gr
3. from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
5. # 分别是用户头像和聊天机器人的头像（需要在gradio工作的项目下，这里我的项目名为LLM）
6. user_icon = '/home/LLM/Qwen-main/gradio_avatar_images/user_icon.jpeg'
7. bot_icon = '/home/LLM/Qwen-main/gradio_avatar_images/bot_icon.jpg'
9. model_name = '/home/LLM/Qwen/Qwen2_5-Coder-7B-Instruct' # 模型存放位置
10. qwen_chat_history = [
11.     {"role": "system", "content": "You are a helpful assistant."}
12. ]# 储存历史对话

复制代码

定义一个加载模型的函数：

1. def _load_model():
2.     tokenizer = AutoTokenizer.from_pretrained(model_name)
3.     model = AutoModelForCausalLM.from_pretrained(
4.         model_name,
5.         torch_dtype="auto",
6.         device_map="auto",
7.     )
8.     streamer = TextIteratorStreamer(tokenizer=tokenizer, skip_prompt=True, skip_special_tokens=True)
9.     return model, tokenizer, streamer

复制代码

1. TextIteratorStreamer用于生成流式输出。

复制代码

然后是整个聊天界面的一个实现，使用gradio库实现

1. with gr.Blocks() as demo:
2.     model, tokenizer, streamer = _load_model() # 载入模型
3.     chatbot = gr.Chatbot(
4.         height=600, # 界面高度，可以自己调
5.         avatar_images=(user_icon, bot_icon)
6.     )# Chatbot还涉及很多参数，如需了解清查阅官方技术文档
8.     msg = gr.Textbox()
9.     clear = gr.ClearButton([msg, chatbot])
10.    
11.     # 清除历史记录
12.     def _clean_history():
13.         global qwen_chat_history
14.         qwen_chat_history = []
17.     #生成回复
18.     def _response(message, chat_history):
19.         qwen_chat_history.append({"role": "user", "content": message}) # 拼接历史对话
21.         history_str = tokenizer.apply_chat_template(
22.             qwen_chat_history,
23.             tokenize=False,
24.             add_generation_prompt=True
25.         )
27.         inputs = tokenizer(history_str, return_tensors='pt').to(model.device)
29.         chat_history.append([message, ""])
31.         # 推理参数
32.         generation_kwargs = dict(
33.             **inputs,
34.             streamer=streamer,
35.             max_new_tokens=2048,
36.             num_beams=1,
37.             do_sample=True,
38.             top_p=0.8,
39.             temperature=0.3,
40.         )
42.         # 监控流失输出结果
43.         thread = Thread(target=model.generate, kwargs=generation_kwargs)
44.         thread.start()
46.         for new_text in streamer:
47.             chat_history[-1][1] += new_text
48.             yield "", chat_history
50.         qwen_chat_history.append(
51.             {"role": "assistant", "content": chat_history[-1][1]}
52.         )
54.     clear.click(_clean_history())
55.     msg.submit(_response, [msg, chatbot], [msg, chatbot])
58. demo.queue().launch(
59.     share=False,
60.     server_port=8000,
61.     server_name="127.0.0.1",
62. ) # 绑定8000端口，进行web访问

复制代码

运行代码，会生成一个链接：

直接点开大概复制到浏览器打开就可以进入聊天界面：

完备代码：

1. from threading import Threadimport gradio as grfrom transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreameruser_icon = '/home/lhp/Desktop/LLM/Qwen-main/gradio_avatar_images/user_icon.jpeg'bot_icon = '/home/lhp/Desktop/LLM/Qwen-main/gradio_avatar_images/bot_icon.jpg'model_name = '/home/lhp/Desktop/LLM/Qwen/Qwen2_5-Coder-7B-Instruct'qwen_chat_history = [    {"role": "system", "content": "You are a helpful assistant."}]def _load_model():
2.     tokenizer = AutoTokenizer.from_pretrained(model_name)
3.     model = AutoModelForCausalLM.from_pretrained(
4.         model_name,
5.         torch_dtype="auto",
6.         device_map="auto",
7.     )
8.     streamer = TextIteratorStreamer(tokenizer=tokenizer, skip_prompt=True, skip_special_tokens=True)
9.     return model, tokenizer, streamer
10. with gr.Blocks() as demo:    model, tokenizer, streamer = _load_model()    chatbot = gr.Chatbot(        height=600,        avatar_images=(user_icon, bot_icon)    )    msg = gr.Textbox()    clear = gr.ClearButton([msg, chatbot])    def _clean_history():        global qwen_chat_history        qwen_chat_history = []    def _response(message, chat_history):        qwen_chat_history.append({"role": "user", "content": message}) # 拼接历史对话        history_str = tokenizer.apply_chat_template(            qwen_chat_history,            tokenize=False,            add_generation_prompt=True        )        inputs = tokenizer(history_str, return_tensors='pt').to(model.device)        chat_history.append([message, ""])        # 拼接推理参数        generation_kwargs = dict(            **inputs,            streamer=streamer,            max_new_tokens=2048,            num_beams=1,            do_sample=True,            top_p=0.8,            temperature=0.3,        )        # 启动线程，用以监控流失输出结果        thread = Thread(target=model.generate, kwargs=generation_kwargs)        thread.start()        for new_text in streamer:            chat_history[-1][1] += new_text            yield "", chat_history        qwen_chat_history.append(            {"role": "assistant", "content": chat_history[-1][1]}        )    clear.click(_clean_history())    msg.submit(_response, [msg, chatbot], [msg, chatbot])demo.queue().launch(    share=False,    server_port=8000,    server_name="127.0.0.1",)

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。