deepseek本地部署+open-webui+ngrok搭建微服务(Linux)
本机描述：A100(40G显存)模型消耗显存deepseek-r1:7b6、7GBdeepseek-r1:32b22 GB 效果出现
https://i-blog.csdnimg.cn/direct/86b84601c4304215b0585b93fc45cc3b.png
https://i-blog.csdnimg.cn/direct/fa4cacdb7ef2498c9923cd2d6268d360.png
https://i-blog.csdnimg.cn/direct/b9e42af4f05f4f6c8cda828aaae4e26c.png
https://i-blog.csdnimg.cn/direct/6df8600d9db74d4a9e95ddb68c89b9ea.png
一、环境依赖
cuda
ollama
ngrok
nodejs+npm
anaconda
>>> ollama
ollama安装
wget https://ollama.com/install.sh 修改install.sh文件
按住ctrl+f
搜刮：https://ollama.com/download/ollama-linux-${ARCH}
更换成：https://gh.api.99988866.xyz/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux-amd64
修改install.sh的运行权限
chmod +x ./install.sh 安装
./install.sh 注意：ollama默认安装在/bin/bash里，所以不用改体系环境变量就可以使用
测试
启动ollama服务
ollama serve 按ctrl+c结束历程
>>> ngrok
ngrok安装
wget https://bin.equinox.io/c/bNyj1mQVY4c/ngrok-v3-stable-linux-amd64.tgz 解压缩
tar -xvzf ./ngrok-v3-stable-linux-amd64.tgz 添加到体系环境变量
vim /root/.bashrc 在末了一行加上
# ngrok env
export PATH="/path/to/ngrok:$PATH"
ngrok配置
到官网 ngrok - Online in One Line
检察 $YOUR_AUTHTOKEN
ngrok config add-authtoken $YOUR_AUTHTOKEN https://i-blog.csdnimg.cn/direct/1658c59de1194bfabe7e17bea888fb66.png
测试
检察 $YOUR_DOMAINS
ngrok http --url=$YOUR_DOMAINS 80 https://i-blog.csdnimg.cn/direct/91c708a7db514e57842f8d85a63b35d8.png
在网页上输入链接$YOUR_DOMAINS检察能否访问（能连上就行）
>>> anaconda
anaconda 安装
wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh chmod +x Anaconda3-2024.10-1-Linux-x86_64.sh ./Anaconda3-2024.10-1-Linux-x86_64.sh 注意安装路径和终极的环境变量配置
anaconda 环境配置
conda init 添加国内conda镜像
conda config --show channels
conda config --remove channels defaults
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --show channels >>> nodejs
nodejs安装
wget https://nodejs.org/dist/v22.13.1/node-v22.13.1-linux-x64.tar.xz tar -xvf node-v22.13.1-linux-x64.tar.xz nodejs环境配置
修改 /root/.bashrc，添加体系环境变量
vim /root/.bashrc 在末了一行添加：
# node npm env
export PATH="/path/to/nodejs/node-v22.13.1/bin:$PATH" 测试
node -v
npm -v 二、正式开始搭建微服务
>>> 用ollama运行deepseek_r1:32b
确保ollama serve已经运行在另一个terminal
ollama run deepseek-r1:32b 对话测试
https://i-blog.csdnimg.cn/direct/eb77d2d15ca54a379c2c4a6b8bafb585.png
测试ollama api
curl http://localhost:11434/api/generate -d '{
"model": "deepseek-r1:32b",
"prompt": "你好",
"stream": false
}' https://i-blog.csdnimg.cn/direct/f56a1b589a32407493f1f72a9f9c34cb.png
>>> 搭建open-webui
open-webui安装
下载原始文件
git clone https://github.com/open-webui/open-webui.git open-webui环境配置
npm下载依赖
cd /path/to/open-webui/
cp .env.example .env
npm config set registry https://mirrors.huaweicloud.com/repository/npm/
npm config get registry
# 这两个镜像配置一个，哪个能运行用哪个
npm config set registry https://registry.npmmirror.com/
npm config get registry npm i
npm run build anaconda新建虚拟环境 & 下载依赖
conda create -n open-webui python=3.11 conda activate open-webui cd backend
pip install -r requirements.txt 下载须要embedding模型
git clone https://www.modelscope.cn/sentence-transformers/all-MiniLM-L6-v2.git 编辑文件 /path/to/open-webui/backend/open-webui/retrieval/utils.py
ctrl+f
查找: model_repo_path
更换那一整举动: model_repo_path = r'/path/to/all-MiniLM-L6-v2'
如下
https://i-blog.csdnimg.cn/direct/4d3119801a634407b5eeb79cea69dd1e.png
linux下运行open-webui
编辑文件 /path/to/open-webui/backend/start.sh
根据条件修改
HOST="${HOST:-0.0.0.0}"# 局域网调试
HOST="${HOST:-127.0.0.1}"# 本机测试
确保当前目录在/path/to/open-webui/backend下
./start.sh windows下 运行open-webui
编辑文件 /path/to/open-webui/backend/start_windows.bat
根据条件修改
IF "%HOST%"=="" SET HOST=0.0.0.0 # 局域网调试
IF "%HOST%"=="" SET HOST=127.0.0.1 # 本机测试
确保当前目录在/path/to/open-webui/backend下
./start_windows.bat >>> ngrok服务open-webui
启动端口 8080 (open-webui 默认是8080口)
ngrok http --url=$YOUR_DOMAINS 8080 三、总结
末了就能愉快的访问本地部署的deepseek-r1:32b了，页面也是很好，open-webui界面那个注册很快，根本不要验证码。
注册登录后：就可以举行使用了，记得把$YOUR_DOMAINS这个url分享给你的小同伴试试你搭建的公网deepseek应用吧！
https://i-blog.csdnimg.cn/direct/86b84601c4304215b0585b93fc45cc3b.png
https://i-blog.csdnimg.cn/direct/fa4cacdb7ef2498c9923cd2d6268d360.png
https://i-blog.csdnimg.cn/direct/ce09553b1adb41fba92a185bb56a960d.png
如内容有误，欢迎各位大佬在评论区指正！我会拼命优化的！！！！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]