【linux+llama.cpp+Qwen2.5】从零开始本地部署llama.cpp，运行Qwen2.5模子
概要本文将介绍linux体系中，从零开始介绍本地部署的LLAMA.CPP过程。
整体架构流程
1.下载c++编译器
LLaMa.cpp 是cpp 跨平台的，在Windows平台下，需要预备mingw 和Cmake。
sudo apt update
sudo apt upgrade
sudo apt install build-essential git cmake
2.安装llama.cpp
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
mkdir build
cd build
cmake ..
make
3.运行
找到llama-cli在何处
find . -type f -executable -name "llama-cli"
进入llama-cli地点的文件夹
./bin/llama-cli -m model.gguf -p "I believe the meaning of life is" -n 128
-m 是你qwen2.5模子地点的位置（注意一定要gguf格式）。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]