IT评测·应用市场-qidao123.com

标题: 【linux+llama.cpp+Qwen2.5】从零开始本地部署llama.cpp，运行Qwen2.5模子 [打印本页]

作者: 去皮卡多 时间: 2025-3-15 03:30
标题: 【linux+llama.cpp+Qwen2.5】从零开始本地部署llama.cpp，运行Qwen2.5模子
概要

本文将介绍linux体系中，从零开始介绍本地部署的LLAMA.CPP过程。
整体架构流程

1.下载c++编译器

LLaMa.cpp 是cpp 跨平台的，在Windows平台下，需要预备mingw 和Cmake。

sudo apt update
sudo apt upgrade
sudo apt install build-essential git cmake

复制代码

2.安装llama.cpp

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
mkdir build
cd build
cmake ..
make

复制代码

3.运行

找到llama-cli在何处

find . -type f -executable -name "llama-cli"

复制代码

进入llama-cli地点的文件夹

./bin/llama-cli -m model.gguf -p "I believe the meaning of life is" -n 128

复制代码

-m 是你qwen2.5模子地点的位置（注意一定要gguf格式）。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)