llama.cpp运行qwen0.5B
编译llama.cp参考
下载模型
05b模型下载
转化模型
创建假造环境
conda create --prefix=D:\miniconda3\envs\llamacpp python=3.10
conda activate D:\miniconda3\envs\llamacpp
安装所需要的包
https://img-blog.csdnimg.cn/direct/2faa801620d9403585a0a19a2a55cb13.png
cd G:\Cpp\llama.cpp-master
pip install -r requirements.txt
python convert.py -h
https://img-blog.csdnimg.cn/direct/94afeb23ef5846119a820487487938f5.png
https://img-blog.csdnimg.cn/direct/27c4c80972f941a38090a1d27c9f34c9.png
https://img-blog.csdnimg.cn/direct/9bd8dfa6e7b54e97965b831fc0829684.png
实行转换下令
# python convert.py G:\Python\Qwen1.5-0.5B-Chat --outfile G:\Cpp\qwenchat0.5b.gguf --outtype q8_0
python convert-hf-to-gguf.py G:\Python\Qwen1.5-0.5B-Chat--outfile G:\Cpp\qwenchat0.5b.gguf
# 解释
# python
# convert.py # convert.py路径
# /content/finetuned-2_merged # 模型路径
# --outfile finetuned-2.gguf # 要分配的gguf模型名称
# --outtype q8_0 #以8 Bit量化
https://img-blog.csdnimg.cn/direct/e5aeae3fad6845c59cdd016ef672a8a2.png
https://img-blog.csdnimg.cn/direct/fd3e311fc6854952947465e0b651072e.png
https://img-blog.csdnimg.cn/direct/e392f5e4cf5640b98e1f228d6dbff076.png
将模型量化为5Bit（利用q5_k-m方法）
quantize.exe G:\Cpp\qwenchat0.5b.gguf qwenchat0.5b-q5_k_m.gguf q5_k_m
# 4bit，基本不太行
# quantize.exe G:\Cpp\qwenchat0.5b.gguf qwenchat0.5b-q4_0.gguf q4_0
https://img-blog.csdnimg.cn/direct/e480ff9b79d74099a9707235a372df7a.png
https://img-blog.csdnimg.cn/direct/eb87f237f86e4321b924bcfb95bcdd2b.png
控制台运行模型
# 注意Qwen模型要使用chatml prompt 模版
main.exe -m qwenchat0.5b-q5_k_m.gguf -n 512 --chatml
https://img-blog.csdnimg.cn/direct/251d6d28c4a741799c4ed5be07fd9ad2.png
http方式运行模型
server.exe -m qwenchat0.5b-q5_k_m.gguf -c 2048 --host 0.0.0.0 --port 8007
curl --request POST --url http://localhost:8007/completion --header "Content-Type: application/json" --data '{"prompt": "你好","n_predict": 128}'
页面的话访问8007即可
https://img-blog.csdnimg.cn/direct/73a6a70bd31d4a19a74923a2fefb7a8e.png
server参数解释
尝鲜通义千问1.8B
参考
hf2gguf
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]