国内Ubuntu22.04 linxu环境下Ollama+Open-webui 摆设DeepSeek

硬件和网络条件

一台闲置的服务器，Intel® Xeon® CPU E5-2620 v4 @ 2.10GHz * 2，内存128G，网络环境只能访问国内IP。
1.更新Ubuntu22.04的国内镜像源

1. cd /etc/apt && sudo cp sources.list sources.list.bak && echo "正在写入jammy" &&   sleep 2 && sudo echo -e "deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse\ndeb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse\ndeb http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse\ndeb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse" > sources.list && sudo apt update
2.   && cat sources.list

复制代码

sources.list内容更新为：

1. deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
2. deb-src http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
3. deb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
4. deb-src http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
5. deb http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
6. deb-src http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
7. deb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
8. deb-src http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse

复制代码

2.安装docker

2.1更新体系包

确保体系包是最新的

1. sudo apt update
3. sudo apt upgrade -y

复制代码

2.2 安装依赖工具

安装 Docker 所需的工具：
sudo apt install -y ca-certificates curl gnupg lsb-release
2.3 添加 Docker 官方 GPG 密钥

为了确保下载的 Docker 包是官方且未被篡改的，必要添加 Docker 的 GPG 密钥。因为网络环境限定，无法访问Docker官方网站，只能从国内镜像网站（阿里）下载。
首先创建 /etc/apt/keyring目次，然后下载密钥。

1. sudo mkdir -p /etc/apt/keyrings
2. curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

复制代码

2.4 设置 Docker 的 APT 仓库

1. echo \
2.   "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] http://mirrors.aliyun.com/docker-ce/linux/ubuntu/ \
3.   $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

复制代码

在/etc/apt/sources.list.d目次下创建docker.list，内容为：

1. deb [arch=amd64 signed-by=/etc/apt/keyrings/docker.gpg] http://mirrors.aliyun.com/docker-ce/linux/ubuntu jammy stable

复制代码

2.5 更新 APT 包索引

添加仓库后，更新 APT 包索引

1. sudo apt update

复制代码

2.6 安装Docker

1. sudo apt install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin

复制代码

2.7 启动 Docker 服务并验证安装是否成功

1. sudo systemctl start docker
2. sudo systemctl enable docker
3. sudo docker --version

复制代码

体现Docker版本信息。
2.8 Docker国内镜像源

目前（2025年2月）国内镜像源能打开的很少，所以没有更新Dock的国内镜像源地址
3.安装Open-webui

1. docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

复制代码

4.安装Ollama

因为受网络限定，无法通过ollama官网下载安装文件。这里通过魔塔社区先容的方法安装。
4.1 安装ModelScope

1. pip install modelscope

复制代码

4.2 利用下令行下载Ollama的linux版本

1. modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux --revision v0.5.8

复制代码

4.3 安装Ollama

下载安装包后，可以进入ollama-linux文件夹，确定安装脚本具备运行权限后，运行安装脚本，此脚本无需网络链接即可安装ollama。

1. # 运行ollama安装脚本
2. cd ollama-linux
3. sudo chmod 777 ./ollama-modelscope-install.sh
4. ./ollama-modelscope-install.sh

复制代码

安装完毕可以利用

1. ollama -v

复制代码

检察本版信息，安装成功。
4.4 Ollama参数设置

Ollama参数所在路径为：/etc/systemd/system/ollama.service
输入下令

1. vim /etc/systemd/system/ollama.service

复制代码

打开编辑界面，在[Service]部分下添加一行Environment设置环境变量

1. #设置外网访问，端口为11434
2. Environment="OLLAMA_HOST=0.0.0.0:11434"
3. Environment="OLLAMA_ORIGINS=*"
4. #
5. Environment="OLLAMA_FLASH_ATTENTION=1"

复制代码

4.5 启动Ollama服务

1. ollama -serve

复制代码

启动服务后会生成一个密钥，ollama key。这个在利用open-webui毗连时利用。
4.6 下载deepseek模型

利用ollama从魔塔社区下载deepseek模型，ModelScope社区上托管了数千个优质的GGUF格式的大模型（包罗LLM和视觉多模态模型），通过ollama run下令，就能直接加载运行ModelScope模型库上的GGUF模型。
具体格式为

1. ollama run modelscope.cn/{model-id}

复制代码

我下载的是unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF，7B量化模型

1. ollama run unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF

复制代码

相关链接：
https://modelscope.cn/models/modelscope/ollama-linux
https://modelscope.cn/docs/models/advanced-usage/ollama-integration

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。