ToB企服应用市场:ToB评测及商务社交产业平台
标题:
deepseek本地部署+open-webui+ngrok搭建微服务(Linux)
[打印本页]
作者:
河曲智叟
时间:
昨天 22:22
标题:
deepseek本地部署+open-webui+ngrok搭建微服务(Linux)
本机描述：A100(40G显存)
模型
消耗显存
deepseek-r1:7b
6、7GB
deepseek-r1:32b
22 GB
效果出现
一、环境依赖
cuda
ollama
ngrok
nodejs+npm
anaconda
>>> ollama
ollama安装
wget https://ollama.com/install.sh
复制代码
修改install.sh文件
按住ctrl+f
搜刮：https://ollama.com/download/ollama-linux-${ARCH}
更换成：https://gh.api.99988866.xyz/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux-amd64
修改install.sh的运行权限
chmod +x ./install.sh
复制代码
安装
./install.sh
复制代码
注意：ollama默认安装在/bin/bash里，所以不用改体系环境变量就可以使用
测试
启动ollama服务
ollama serve
复制代码
按ctrl+c结束历程
>>> ngrok
ngrok安装
wget https://bin.equinox.io/c/bNyj1mQVY4c/ngrok-v3-stable-linux-amd64.tgz
复制代码
解压缩
tar -xvzf ./ngrok-v3-stable-linux-amd64.tgz
复制代码
添加到体系环境变量
vim /root/.bashrc
复制代码
在末了一行加上
# ngrok env
export PATH="/path/to/ngrok:$PATH"
复制代码
ngrok配置
到官网 ngrok - Online in One Line
检察 $YOUR_AUTHTOKEN
ngrok config add-authtoken $YOUR_AUTHTOKEN
复制代码
测试
检察 $YOUR_DOMAINS
ngrok http --url=$YOUR_DOMAINS 80
复制代码
在网页上输入链接$YOUR_DOMAINS检察能否访问（能连上就行）
>>> anaconda
anaconda 安装
wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh
复制代码
chmod +x Anaconda3-2024.10-1-Linux-x86_64.sh
复制代码
./Anaconda3-2024.10-1-Linux-x86_64.sh
复制代码
注意安装路径和终极的环境变量配置
anaconda 环境配置
conda init
复制代码
添加国内conda镜像
conda config --show channels
conda config --remove channels defaults
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --show channels
复制代码
>>> nodejs
nodejs安装
wget https://nodejs.org/dist/v22.13.1/node-v22.13.1-linux-x64.tar.xz
复制代码
tar -xvf node-v22.13.1-linux-x64.tar.xz
复制代码
nodejs环境配置
修改 /root/.bashrc，添加体系环境变量
vim /root/.bashrc
复制代码
在末了一行添加：
# node npm env
export PATH="/path/to/nodejs/node-v22.13.1/bin:$PATH"
复制代码
测试
node -v
npm -v
复制代码
二、正式开始搭建微服务
>>> 用ollama运行deepseek_r1:32b
确保ollama serve已经运行在另一个terminal
ollama run deepseek-r1:32b
复制代码
对话测试
测试ollama api
curl http://localhost:11434/api/generate -d '{
"model": "deepseek-r1:32b",
"prompt": "你好",
"stream": false
}'
复制代码
>>> 搭建open-webui
open-webui安装
下载原始文件
git clone https://github.com/open-webui/open-webui.git
复制代码
open-webui环境配置
npm下载依赖
cd /path/to/open-webui/
cp .env.example .env
复制代码
npm config set registry https://mirrors.huaweicloud.com/repository/npm/
npm config get registry
# 这两个镜像配置一个，哪个能运行用哪个
npm config set registry https://registry.npmmirror.com/
npm config get registry
复制代码
npm i
npm run build
复制代码
anaconda新建虚拟环境 & 下载依赖
conda create -n open-webui python=3.11
复制代码
conda activate open-webui
复制代码
cd backend
pip install -r requirements.txt
复制代码
下载须要embedding模型
git clone https://www.modelscope.cn/sentence-transformers/all-MiniLM-L6-v2.git
复制代码
编辑文件 /path/to/open-webui/backend/open-webui/retrieval/utils.py
ctrl+f
查找: model_repo_path
更换那一整举动: model_repo_path = r'/path/to/all-MiniLM-L6-v2'
如下
linux下运行open-webui
编辑文件 /path/to/open-webui/backend/start.sh
根据条件修改
HOST="${HOST:-0.0.0.0}"# 局域网调试
HOST="${HOST:-127.0.0.1}"# 本机测试
确保当前目录在
/path/to/open-webui/backend下
./start.sh
复制代码
windows下 运行open-webui
编辑文件 /path/to/open-webui/backend/start_windows.bat
根据条件修改
IF "%HOST%"=="" SET HOST=0.0.0.0 # 局域网调试
IF "%HOST%"=="" SET HOST=127.0.0.1 # 本机测试
确保当前目录在
/path/to/open-webui/backend下
./start_windows.bat
复制代码
>>> ngrok服务open-webui
启动端口 8080 (open-webui 默认是8080口)
ngrok http --url=$YOUR_DOMAINS 8080
复制代码
三、总结
末了就能愉快的访问本地部署的deepseek-r1:32b了，页面也是很好，open-webui界面那个注册很快，根本不要验证码。
注册登录后：就可以举行使用了，记得把$YOUR_DOMAINS这个url分享给你的小同伴试试你搭建的公网deepseek应用吧！
如内容有误，欢迎各位大佬在评论区指正！我会拼命优化的！！！！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)
Powered by Discuz! X3.4
