vllm安装和部署私有大模型以及办理LLamaFactory微调效果与vllm部署效果不一致
文章目录[*]媒介
[*]一、vLLm部署大模型安装和部署步调？
[*]二、办理LLamaFactory微调效果与vllm部署效果不一致
媒介
vLLM 是一个快速且易于使用的库，专为大型语言模型 (LLM) 的推理和部署而筹划。具体参考官方文档 https://vllm.hyper.ai/docs/
LLaMA-Factory 是一个专为 LLaMA 系列大语言模型（如 Meta 的 LLaMA、LLaMA-2 等）筹划的开源工具库，重要用于模型的 高效微调（Fine-tuning）、部署 和 应用开发。它旨在简化大模型定制化流程，降低用户使用门槛，支持快速适配不同下游任务（如对话、问答、代码生成等）。具体可以参考文档https://llamafactory.readthedocs.io/zh-cn/latest/getting_started/installation.html
一、vLLm部署大模型安装和部署步调？
1.创建本身的虚拟环境
conda create -n vllm python=3.10 -y
conda activate vllm
pip install vllm2.启动vllm服务端，服务端口8000，这个服务端口不要关
vllm serve /root/autodl-tmp/demo/model/Qwen/Qwen2.5-1.5B-Instruct_merged
#Qwen2.5-1.5B-Instruct_merged注释这个自己训练好的模型https://i-blog.csdnimg.cn/direct/b25642027bc345b3a86ddec7db9354c4.png
3.进行测试，下面使用多轮对话代码进行测试，将代码拷贝到服务器上，进行执行，并与在llamafactory上对话，以及原始数据进行对比，发现部署到vllm的模型对话达不到llamafactory上对话的效果
将下面代码拷贝到/root/autodl-tmp/demo，建个test.py文件，执行下面下令
python test.py#多轮对话
from openai import OpenAI
#定义多轮对话方法
def run_chat_session():
#初始化客户端
client = OpenAI(base_url="http://localhost:8000/v1/",api_key="token-abc123")
#初始化对话历史
chat_history = []
#启动对话循环
while True:
#获取用户输入
user_input = input("用户：")
if user_input.lower() == "exit":
print("退出对话。")
break
#更新对话历史(添加用户输入)
chat_history.append({"role":"user","content":user_input})
#调用模型回答
try:
chat_complition = client.chat.completions.create(messages=chat_history,model="/root/autodl-tmp/demo/model/Qwen/Qwen2.5-1.5B-Instruct_merged")
#获取最新回答
model_response = chat_complition.choices
print("AI:",model_response.message.content)
#更新对话历史（添加AI模型的回复）
chat_history.append({"role":"assistant","content":model_response.message.content})
except Exception as e:
print("发生错误：",e)
break
if __name__ == '__main__':
run_chat_session()https://i-blog.csdnimg.cn/direct/56fd61fe4d184c9380661cce07d15fd6.png
https://i-blog.csdnimg.cn/direct/8fae35ccdbb44aa7837053762a1caec8.png
https://i-blog.csdnimg.cn/direct/4ddbb4569608484db31d481edddfa162.png
二、办理LLamaFactory微调效果与vllm部署效果不一致
1.分析原因
LLaMA-Factory重要用于微调模型，特殊是LLaMA系列的大模型。在微调过程中，对话模板（template）黑白常重要的，它决定了输入数据的格式，包括体系提示、用户输入、模型回复的结构，以及使用的特殊标记（如开始符、结束符）。不同的模型可能须要不同的模板，比如LLaMA-2和ChatGLM的模板可能不一样，由于它们训练时使用的数据格式不同。
vLLM它是一个推理和服务部署的库，专注于高效地运行大模型。用户部署模型时，可能须要调解对话模板，以确保生成的效果符合预期。例如，vLLM可能没有自动处理模板的功能，须要用户显式地设置输入格式，大概在生成回复后添加结束符。
总之要办理要确保训练和部署时的对话模板一致，否则模型的生成效果可能受到影响，即对话模版对齐。
2.办理题目：在部署vllm的时候指定对话模版
[*]将llamafactory界说的对话模版文件转换vllm部署须要的jinja文件，llamafactory对话模版文件的位置在LLaMA-Factory/src/llamafactory/data/template，将下面代码拷贝到test.py，放到template.py同一级目录中，切换到安装了llamafactory的环境进行脚本执行，否则会报错 # test.py
import sys
import os
from pathlib import Path
# 配置路径
sys.path.append(r"/root/autodl-tmp/demo/llamafactory")# 替换为你的 LLaMA-Factory 路径
output_file = r"/root/autodl-tmp/demo/template_qwen.jinja"# 自定义输出文件路径
# 创建输出目录（如果不存在）
Path(output_file).parent.mkdir(parents=True, exist_ok=True)
from llamafactory.data.template import TEMPLATES
from transformers import AutoTokenizer
# 1. 初始化分词器
tokenizer = AutoTokenizer.from_pretrained(r"/root/autodl-tmp/demo/model/Qwen/Qwen2.5-1.5B-Instruct")
# 2. 获取模板对象
template_name = "qwen"
template = TEMPLATES
# 3. 修复分词器的 Jinja 模板
template.fix_jinja_template(tokenizer)
# 4. 将模板内容写入指定文件
with open(output_file, "w", encoding="utf-8") as f:
f.write(tokenizer.chat_template)
print(f"模板已保存至：{output_file}") 不切换环境，没安装llamafactory，会报以下错误：https://i-blog.csdnimg.cn/direct/4116777a13d6484db82e2c8fc44d7026.png
[*]执行vllm serve 下令，指定对话模版 vllm serve /root/autodl-tmp/demo/model/Qwen/Qwen2.5-1.5B-Instruct_merged --chat-template /root/autodl-tmp/demo/template_qwen.jinja
[*] 等重启完后，进行验证，重启一个窗口，执行python test.py，得到效果，效果不错https://i-blog.csdnimg.cn/direct/01224d0e026e46488e59312138464a31.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！ 更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]