window11 部署llama.cpp并运行Qwen2-0.5B-Instruct-GGUF

吾名爱妃，性好静亦好动。好编程，常沉浸于代码之天下，思维纵横，力图逻辑之严密，算法之精妙。亦爱篮球，驰骋球场，尽享挥洒汗水之乐。且喜跑步，尤钟马拉松，长途奔袭，考验耐力与毅力，每有所进，心甚喜之。
   吾以为，编程似布阵，算法如盘算，需精心策划，方可结果佳作。篮球乃团队之艺，协作共进，方显力量。跑步与马拉松，乃锻炼身心之途，愈挫愈勇，方能达至远方。愿交志同道合之友，共探此诸般妙趣。
  
  诸君，此文尚佳，望点赞收藏，谢之！
  1. 下载llama.cpp框架编译情况（llama.cpp/docs/build.md at master · ggerganov/llama.cpp · GitHub）：

2. 下载w64devkit：Releases · skeeto/w64devkit · GitHub

3. 解压后直接运行w64devkit.exe：

4. 下载llama.cp源码：

1. git clone https://github.com/ggerganov/llama.cpp

复制代码

进入llama.cpp目录，实行make命令：

5. 运行后，在llama.cpp目录找到llama-cli.exe体现安装成功

6. 下载Qwen2-0.5B-Instruct-GGUF格式模子：魔搭社区

7.在llama-cli.exe文件所在目录新建chat-with-qwen.txt文件，内容为：You are a helpful assistant.
在llama-cli.exe文件所在目录打开掷中行，实行：

1. llama-cli.exe -m ..\Qwen2-0.5B-Instruct-GGUF\qwen2-0_5b-instruct-q5_k_m.gguf -n 512 -co -i -if -f chat-with-qwen.txt --in-prefix "<|im_start|>user\n" --in-suffix "<|im_end|>\n<|im_start|>assistant\n" -ngl 24

复制代码

结果：

可以举行交互了~
8. 以服务的形式运行模子：

1. llama-server.exe -m ..\Qwen2-0.5B-Instruct-GGUF\qwen2-0_5b-instruct-q5_k_m.gguf -ngl 24 -fa

复制代码

结果：

启动成功，使用postman测试：

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。