deepseek本地部署+open-webui+ngrok搭建微服务(Linux)

本机描述：A100(40G显存)

模型	消耗显存
deepseek-r1:7b	6、7GB
deepseek-r1:32b	22 GB

效果出现

 

一、环境依赖

   cuda
    ollama
  ngrok
  nodejs+npm
  anaconda
  >>> ollama

ollama安装

1. wget https://ollama.com/install.sh

复制代码

修改install.sh文件
   按住ctrl+f
  搜刮：https://ollama.com/download/ollama-linux-${ARCH}
  更换成：https://gh.api.99988866.xyz/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux-amd64
  修改install.sh的运行权限

1. chmod +x ./install.sh

复制代码

 安装

1. ./install.sh

复制代码

  注意：ollama默认安装在/bin/bash里，所以不用改体系环境变量就可以使用
  测试

启动ollama服务

1. ollama serve 

复制代码

按ctrl+c结束历程
>>> ngrok

ngrok安装

1. wget https://bin.equinox.io/c/bNyj1mQVY4c/ngrok-v3-stable-linux-amd64.tgz

复制代码

 解压缩

1. tar -xvzf ./ngrok-v3-stable-linux-amd64.tgz

复制代码

 添加到体系环境变量

1. vim /root/.bashrc

复制代码

在末了一行加上

1. # ngrok env
2. export PATH="/path/to/ngrok:$PATH"

复制代码

ngrok配置

到官网 ngrok - Online in One Line
检察 $YOUR_AUTHTOKEN

1. ngrok config add-authtoken $YOUR_AUTHTOKEN

复制代码

 

测试 

检察 $YOUR_DOMAINS

1. ngrok http --url=$YOUR_DOMAINS 80

复制代码

 

 在网页上输入链接$YOUR_DOMAINS检察能否访问（能连上就行）

>>> anaconda

anaconda 安装

1. wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh

复制代码

1. chmod +x Anaconda3-2024.10-1-Linux-x86_64.sh

复制代码

1. ./Anaconda3-2024.10-1-Linux-x86_64.sh

复制代码

注意安装路径和终极的环境变量配置
anaconda 环境配置

1. conda init

复制代码

添加国内conda镜像

1. conda config --show channels
3. conda config --remove channels defaults
5. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
6. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
8. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
10. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
12. conda config --show channels

复制代码

>>> nodejs

nodejs安装

1. wget https://nodejs.org/dist/v22.13.1/node-v22.13.1-linux-x64.tar.xz

复制代码

1. tar -xvf node-v22.13.1-linux-x64.tar.xz

复制代码

nodejs环境配置

   修改 /root/.bashrc，添加体系环境变量

1.  vim /root/.bashrc

复制代码

在末了一行添加： 

1. # node npm env
2. export PATH="/path/to/nodejs/node-v22.13.1/bin:$PATH"

复制代码

测试

1. node -v
2. npm -v

复制代码

二、正式开始搭建微服务

>>> 用ollama运行deepseek_r1:32b

确保ollama serve已经运行在另一个terminal

1. ollama run deepseek-r1:32b

复制代码

对话测试

 测试ollama api

1. curl http://localhost:11434/api/generate -d '{
2.   "model": "deepseek-r1:32b",
3.   "prompt": "你好",
4.   "stream": false
5. }'

复制代码

 >>> 搭建open-webui

open-webui安装

下载原始文件

1. git clone https://github.com/open-webui/open-webui.git

复制代码

open-webui环境配置

npm下载依赖

1. cd /path/to/open-webui/
2. cp .env.example .env

复制代码

1. npm config set registry https://mirrors.huaweicloud.com/repository/npm/ 
2. npm config get registry
3. # 这两个镜像配置一个，哪个能运行用哪个
4. npm config set registry https://registry.npmmirror.com/
5. npm config get registry

复制代码

1. npm i
2. npm run build

复制代码

 anaconda新建虚拟环境 & 下载依赖

1. conda create -n open-webui python=3.11

复制代码

1. conda activate open-webui

复制代码

1. cd backend
2. pip install -r requirements.txt

复制代码

下载须要embedding模型

1. git clone https://www.modelscope.cn/sentence-transformers/all-MiniLM-L6-v2.git

复制代码

编辑文件 /path/to/open-webui/backend/open-webui/retrieval/utils.py
    ctrl+f
  查找: model_repo_path
  更换那一整举动: model_repo_path = r'/path/to/all-MiniLM-L6-v2'
   如下

linux下运行open-webui

编辑文件 /path/to/open-webui/backend/start.sh
   
  根据条件修改
HOST="${HOST:-0.0.0.0}"# 局域网调试
  HOST="${HOST:-127.0.0.1}"# 本机测试
  确保当前目录在/path/to/open-webui/backend下

1. ./start.sh

复制代码

windows下 运行open-webui

编辑文件 /path/to/open-webui/backend/start_windows.bat
   根据条件修改
IF "%HOST%"=="" SET HOST=0.0.0.0 # 局域网调试
  IF "%HOST%"=="" SET HOST=127.0.0.1 # 本机测试
  确保当前目录在/path/to/open-webui/backend下 

1. ./start_windows.bat

复制代码

>>> ngrok服务open-webui

 启动端口 8080 (open-webui 默认是8080口)

1. ngrok http --url=$YOUR_DOMAINS 8080

复制代码

 三、总结

  末了就能愉快的访问本地部署的deepseek-r1:32b了，页面也是很好，open-webui界面那个注册很快，根本不要验证码。

  注册登录后：就可以举行使用了，记得把$YOUR_DOMAINS这个url分享给你的小同伴试试你搭建的公网deepseek应用吧！

 

如内容有误，欢迎各位大佬在评论区指正！我会拼命优化的！！！！




免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。