window11 部署llama.cpp并运行Qwen2-0.5B-Instruct-GGUF
吾名爱妃，性好静亦好动。好编程，常沉浸于代码之天下，思维纵横，力图逻辑之严密，算法之精妙。亦爱篮球，驰骋球场，尽享挥洒汗水之乐。且喜跑步，尤钟马拉松，长途奔袭，考验耐力与毅力，每有所进，心甚喜之。吾以为，编程似布阵，算法如盘算，需精心策划，方可结果佳作。篮球乃团队之艺，协作共进，方显力量。跑步与马拉松，乃锻炼身心之途，愈挫愈勇，方能达至远方。愿交志同道合之友，共探此诸般妙趣。
诸君，此文尚佳，望点赞收藏，谢之！
1. 下载llama.cpp框架编译情况（llama.cpp/docs/build.md at master · ggerganov/llama.cpp · GitHub）：
https://i-blog.csdnimg.cn/direct/de0625024a0b4bb9a1f38f504b4f3f71.png
2. 下载w64devkit：Releases · skeeto/w64devkit · GitHub
https://i-blog.csdnimg.cn/direct/166928c746654cd08d5ade25951120a0.png
3. 解压后直接运行w64devkit.exe：
https://i-blog.csdnimg.cn/direct/6dd260ef1b124c4a8d09c11f59e1c026.png
https://i-blog.csdnimg.cn/direct/c3e6952269114754aeaeab59414d9b3b.png
4. 下载llama.cp源码：
git clone https://github.com/ggerganov/llama.cpp 进入llama.cpp目录，实行make命令：
https://i-blog.csdnimg.cn/direct/0a8fa325e1a24ff89a4a9c37e22f9d22.png
5. 运行后，在llama.cpp目录找到llama-cli.exe体现安装成功
https://i-blog.csdnimg.cn/direct/a0adeeffa17848e78460a5e968d42749.png
6. 下载Qwen2-0.5B-Instruct-GGUF格式模子：魔搭社区
https://i-blog.csdnimg.cn/direct/086ea7bad01348e187e26c9af58039fe.png
7.在llama-cli.exe文件所在目录新建chat-with-qwen.txt文件，内容为：You are a helpful assistant.
在llama-cli.exe文件所在目录打开掷中行，实行：
llama-cli.exe -m ..\Qwen2-0.5B-Instruct-GGUF\qwen2-0_5b-instruct-q5_k_m.gguf -n 512 -co -i -if -f chat-with-qwen.txt --in-prefix "<|im_start|>user\n" --in-suffix "<|im_end|>\n<|im_start|>assistant\n" -ngl 24 结果：
https://i-blog.csdnimg.cn/direct/b56cdfa19dfa47f193d5652ac6cc938d.png
可以举行交互了~
8. 以服务的形式运行模子：
llama-server.exe -m ..\Qwen2-0.5B-Instruct-GGUF\qwen2-0_5b-instruct-q5_k_m.gguf -ngl 24 -fa 结果：
https://i-blog.csdnimg.cn/direct/eb4dca11fa7f4769917312961336f3b3.png
启动成功，使用postman测试：
https://i-blog.csdnimg.cn/direct/846aab10ee304110b1a3fafd75aaa546.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]