【linux+llama.cpp+Qwen2.5】从零开始本地部署llama.cpp，运行Qwen2.5模子 ...

概要

本文将介绍linux体系中，从零开始介绍本地部署的LLAMA.CPP过程。
整体架构流程

1.下载c++编译器

LLaMa.cpp 是cpp 跨平台的，在Windows平台下，需要预备mingw 和Cmake。

1. sudo apt update
2. sudo apt upgrade
3. sudo apt install build-essential git cmake

复制代码

2.安装llama.cpp

1. git clone https://github.com/ggerganov/llama.cpp.git
2. cd llama.cpp
3. mkdir build
4. cd build
5. cmake ..
6. make

复制代码

3.运行

找到llama-cli在何处

1. find . -type f -executable -name "llama-cli"

复制代码

进入llama-cli地点的文件夹

1. ./bin/llama-cli -m model.gguf -p "I believe the meaning of life is" -n 128

复制代码

-m 是你qwen2.5模子地点的位置（注意一定要gguf格式）。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。