IT评测·应用市场-qidao123.com技术社区

标题: 详细！离线部署大模子：ollama+deepseek+open-webui安装使用方法及常见题目办理 [打印本页]

---

作者: 吴旭华    时间: 2025-4-13 22:38
标题: 详细！离线部署大模子：ollama+deepseek+open-webui安装使用方法及常见题目办理
ollama 是一个开源的本地大语言模子运行框架，它提供了非常简单便捷的使用形式，让用户可以十分方便的在本地呆板上部署和运行大型语言模子，从而实现免费离线的方式使用 LLM 本领，并确保私有数据的隐私和安全性。
1 ollama 安装

ollama 支持多种利用系统，包括 macOS、Windows、Linux 以及通过 Docker 容器运行。其安装、使用及模子下载非常简单，可以简单概括为以下几步：

• • 下载 ollama 安装程序并安装。
  
• • 启动 ollama，执行命令下载和运行模子。如：ollama run deepseek-r1:1.5b
  
• • 以命令行交互、API 调用、第三方应用接入等形式使用其服务。
  

1.1 硬件要求

ollama 自己对硬件要求并不高，主要取决于运行模子的要求。基本发起：
   你应该至少有 4 GB 的 RAM 来运行 1.5B 模子，至少有 8 GB 的 RAM 来运行 7B 模子，16 GB 的 RAM 来运行 13B 模子，以及 32 GB 的 RAM 来运行 33B 模子。
  假若需要本地私有化部署具有实用性的模子，应至少有独立显卡并有 4G 以上显存。纯 CPU 模式虽然也可以运行，但生成速率很慢，仅适用于本地开辟调试体验一下。
本人实测在Mac Studio 2023 版(Apple M2 Max 芯片：12核、32G内存、30核显、1TB SSD)上，运行 deepseek:1.5b 模子响应非常快，可以较为流通的运行 deepseek-r1:32b 及以下的模子。
DeepSeek-r1 相干版本及巨细参考：
参数版本模子巨细发起CPU发起内存发起显存特点deepseek-r1:1.5b1.1GB4核4~8G4GB轻量级，速率快、普通文本处理deepseek-r1:7b4.7G8核16G14GB性能较好，硬件要求适中deepseek-r1:8b4.9GB8核16G14GB略强于 7b，精度更高deepseek-r1:14b9GB12核32G26GB高性能，擅长复杂任务，如数学推理、代码生成deepseek-r1:32b20GB16核64G48GB专业级，恰当高精度任务deepseek-r1:70b43GB32核128G140GB顶级模子，恰当大规模盘算和高复杂度任务deepseek-r1:671b404GB64核512G1342GB超大规模，性能卓越，推理速率快 1.2 Windows \ macOS \ Linux 下安装 ollama

Windows 和 macOS 用户可访问如下地址下载安装文件并安装：

• • 国内中文站下载：http://ollama.org.cn/download/
  
• • 官方下载：https://ollama.com/download/
  
• • github release 下载：https://github.com/ollama/ollama/releases/
  

Linux 用户可以执行如下命令一键安装：

1. curl -fsSL https://ollama.com/install.sh | bash

复制代码

安装完成后，可以通过执行 ollama --version 命令检察 ollama 版本信息，以验证是否安装乐成。
ollama 离线安装：
Windows 和 macOS 下直接复制安装文件到本地本举行安装即可。
Linux 下的离线安装主要步骤参考如下：

1. mkdir -p /home/ollama
2. cd /home/ollama
4. # 查看服务器 CPU 信息获取其架构，如：x86_64
5. lscpu
7. # 访问如下地址，下载对应架构的 ollama 安装包
8. # https://github.com/ollama/ollama/releases/
9. # - x86_64 CPU 选择下载 ollama-linux-amd64
10. # - aarch64|arm64 CPU 选择下载 ollama-linux-arm64
11. # 示例：
12. wget https://github.com/ollama/ollama/releases/download/v0.5.11/ollama-linux-amd64.tgz
14. # 下载 安装脚本，并放到 /home/ollama 目录下
15. wget https://ollama.com/install.sh
17. # 将 ollama-linux-amd64.tgz 和 install.sh 拷贝到需要安装的机器上，如放到 /home/ollama 目录下
18. # 然后执行如下命令：
19. tar -zxvf ollama-linux-amd64.tgz
20. chmod +x install.sh
21. # 编辑 install.sh 文件，找到如下内容
22. curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"
23. # 注释它，并在其下增加如下内容：
24. cp ./ollama-linux-amd64 $TEMP_DIR/ollama
26. # 执行安装脚本
27. ./install.sh
29. # 模型的离线下载请参考下文模型导入部分

复制代码

1.3 基于 Docker 安装 ollama

基于 Docker 可以使得 ollama 的安装、更新与启停管理更为便捷。
起首确保已安装了 docker，然后执行如下命令：

1. # 拉取镜像
2. docker pull ollama/ollama
4. # 运行容器：CPU 模式
5. docker run -d -p 11434:11434 -v /data/ollama:/root/.ollama --name ollama ollama/ollama
6. # 运行容器：GPU 模式
7. docker run --gpus=all -d -p 11434:11434 -v /data/ollama:/root/.ollama --name ollama ollama/ollama
9. # 进入容器 bash 下并下载模型
10. docker exec -it ollama /bin/bash
11. # 下载一个模型
12. ollama pull deepseek-r1:8b

复制代码

也可以基于 docker-compose 举行启停管理。docker-compose.yml 参考：

1. services:
2.   ollama:
3.     image:ollama/ollama
4.     container_name:ollama
5.     restart:unless-stopped
6.     ports:
7.       -11434:11434
8.     volumes:
9.       -/data/ollama:/root/.ollama
10.     environment:
11.         # 允许局域网跨域形式访问API
12.         OLLAMA_HOST=0.0.0.0:11434
13.         OLLAMA_ORIGINS=*

复制代码

1.4 修改 ollama 模子默认保存位置

ollama 下载的模子默认的存储目录如下：

• • macOS: ~/.ollama/models
  
• • Linux: /usr/share/ollama/.ollama/models
  
• • Windows: C:\Users\\.ollama\models
  

若默认位置存在磁盘空间告急的题目，可以通过设置环境变量 OLLAMA_MODELS 修改模子存储位置。示例：

1. # macOS / Linux：写入环境变量配置到 ~/.bashrc 文件中
2. echo 'export OLLAMA_MODELS=/data/ollama/models' >> ~/.bashrc
3. source ~/.bashrc
5. # Windows：按 `WIN+R` 组合键并输入 cmd 打开命令提示符
6. # 然后执行如下命令写入到系统环境变量中
7. setx OLLAMA_MODELS D:\data\ollama\models

复制代码

如果已经下载过模子，可以从上述默认位置将 models 目录移动到新的位置。
对于 docker 安装模式，则可以通过挂载卷的方式修改模子存储位置。
1.5 使用：基于 API 形式访问 ollama 服务

ollama 安装完成并正常启动后，可以通过命令行形式运行模子（如：ollama run deepseek-r1:1.5b），并通过命令行交互的方式举行测试。
别的也可以通过访问 http://localhost:11434 以 API 调用的形式调用。示例：

1. curl http://localhost:11434/api/generate -d '{
2.   "model": "deepseek-r1:8b",
3.   "stream": false,
4.   "prompt": "你是谁"
5. }'

复制代码

ollama API 文档参考：

• • https://ollama.readthedocs.io/api/
  
• • https://github.com/ollama/ollama/blob/main/docs/api.md
  

2 使用 ollama 下载和运行模子

2.1 使用 ollama 命令行下载和运行模子

执行如下命令下载并运行一个模子：

1. # 基本格式为：
2. ollama run <model_name:size>
4. # 例如下载并运行 deepseek-r1 的 1.5b 模型
5. # 如果下载模型速度开始较快后面变慢，可以 kill 当前进程并重新执行
6. ollama run deepseek-r1:1.5b

复制代码

运行乐成则会进入命令行交互模式，可以直接输入题目并得到应答反馈，也可以通过 API 调用方式测试和使用。
从如下地址可搜索 ollama 全部支持的模子：

• • 中文站：https://ollama.org.cn/search
  
• • 官方站：https://ollama.com/search
  

从 HF 和魔塔社区下载模子
ollama 还支持从 HF 和魔塔社区下载第三方开源模子。基本格式为：

1. # 从 HF(https://huggingface.co) 下载模型的格式
2. ollama run hf.co/{username}/{reponame}:latest
3. # 示例：
4. ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q8_0
6. # 从魔塔社区(https://modelscope.cn)下载模型的格式
7. ollama run modelscope.cn/{username}/{model}
8. # 示例：
9. ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF:Q3_K_M

复制代码

2.2 使用 ollama create 导入本地模子

通过 ollama run 和 ollama pull 命令均是从官方地址下载模子，大概会遇到下载速率慢、下载失败等题目。
ollama 支持从本地导入模子。我们可以从第三方下载模子文件并使用 ollama create 命令导入到 ollama 中。
例如，假若我们下载了 deepseek-r1:8b 模子文件，并保存在 /data/ollama/gguf/deepseek-r1-8b.gguf，则可执行如下命令举行导入：

1. cd /data/ollama/gguf
2. echo "From ./deepeek-r1-8b.gguf" > modelfile-deepseek-r1-8b
3. ollama create deepseek-r1:8b -f modelfile-deepseek-r1-8b
5. # 查看模型信息
6. ollama list
7. ollama show deepseek-r1:8b
9. # 运行模型(以命令行交互模式使用)
10. ollama run deepseek-r1:8b

复制代码

相干文档参考：

• • https://ollama.readthedocs.io/import/
  
• • https://ollama.readthedocs.io/modelfile/
  

3 ollama 常用命令参考

ollama 提供了丰富的命令行工具，方便用户对模子举行管理。

• • ollama --help：检察资助信息。
  
• • ollama serve：启动 ollama 服务。
  
• • ollama create [-f Modelfile]：根据一个 Modelfile 文件导入模子。
  
• • ollama show ：显示某个模子的详细信息。
  
• • ollama run ：运行一个模子。若模子不存在会先拉取它。
  
• • ollama stop ：停止一个正在运行的模子。
  
• • ollama pull ：拉取指定的模子。
  
• • ollama push ：将一个模子推送到远程模子仓库。
  
• • ollama list：列出全部模子。
  
• • ollama ps：列出全部正在运行的模子。
  
• • ollama cp ：复制一个模子。
  
• • ollama rm ：删除一个模子。
  

4 ollama 安装使用常见题目及办理

4.1 ollama 模子下载慢：离线下载与安装模子

通过 ollama 官方命令拉取模子，大概会遇到网速慢、下载时间过长等题目。
4.1.1 开始快后来慢：隔断性重启下载

由于模子文件较大，下载过程中大概会遇到开始网速还可以，后面变慢的环境。很多网友反馈退出然后重试则速率就可以上来了，以是可以尝试通过每隔一段时间退出并重新执行的方式以保持较快的下载速率。
以下是基于该逻辑实现的下载脚本，注意将其中的 deepseek-r1:7b 替换为你希望下载的模子版本。
Windows 下在 powershell 中执行：

1. while ($true) {
2.     $modelExists = ollama list | Select-String "deepseek-r1:7b"
4.     if ($modelExists) {
5.         Write-Host "模型已下载完成！"
6.         break
7.     }
9.     Write-Host "开始下载模型..."
10.     $process = Start-Process -FilePath "ollama" -ArgumentList "run", "deepseek-r1:7b" -PassThru -NoNewWindow
12.     # 等待60秒
13.     Start-Sleep -Seconds 60
15.     try {
16.         Stop-Process -Id $process.Id -Force -ErrorAction Stop
17.         Write-Host "已中断本次下载，准备重新尝试..."
18.     }
19.     catch {
20.         Write-Host "error"
21.     }
22. }

复制代码

macOS / Linux 下在终端中执行：

1. #!/bin/bash
3. whiletrue; do
4.     # 检查模型是否已下载完成
5.     modelExists=$(ollama list | grep "deepseek-r1:7b")
7.     if [ -n "$modelExists" ]; then
8.         echo"模型已下载完成！"
9.         break
10.     fi
12.     # 启动ollama进程并记录
13.     echo"开始下载模型..."
14.     ollama run deepseek-r1:7b &  # 在后台启动进程
15.     processId=$!  # 获取最近启动的后台进程的PID
17.     # 等待60秒
18.     sleep 60
20.     # 尝试终止进程
21.     ifkill -0 $processId 2>/dev/null; then
22.         kill -9 $processId# 强制终止进程
23.         echo"已中断本次下载，准备重新尝试..."
24.     else
25.         echo"进程已结束，无需中断"
26.     fi
27. done

复制代码

4.1.2 通过网盘等第三方离线下载并导入 ollama 模子

可以通过国内的第三方离线下载模子文件，再导入到 ollama 中。详细参考 2.2 章节。
deepseek-r1 相干模子夸克网盘下载：
   链接：https://pan.quark.cn/s/7fa235cc64ef 提取码：wasX
  也可以从 魔塔社区、HuggingFace 等大模子社区搜索并下载 stuff 格式的模子文件。例如：

• • https://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/files
  
• • https://huggingface.co/unsloth/DeepSeek-R1-GGUF
  

4.1.3 从国内大模子提供站下载模子

ollama 支持从魔塔社区直接下载模子。其基本格式为：

1. ollama run modelscope.cn/{model-id}

复制代码

一个模子仓库大概包含多个模子，可以指定到详细的模子文件名以只下载它。示例：

1. ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF
2. #
3. ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF:qwen2.5-3b-instruct-q3_k_m.gguf

复制代码

下载 deepseek-r1 模子命令参考：

1. # deepseek-r1:7b
2. ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF:DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
3. # deepseek-r1:14b
4. ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_M
5. # deepseek-r1:32b
6. ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF:Q4_K_M

复制代码

别的，也可以从 HF 的国内镜像站（https://hf-mirror.com）查找和拉取模子，方法与上述类似：

1. # 基本格式
2. ollama run hf-mirror.com/{username}/{reponame}:{label}
4. # 示例 - 拉取 deepseek-r1:7b
5. ollama run hf-mirror.com/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF:Q4_K_M

复制代码

4.2 ollama 服务设置允许局域网访问

默认环境下 API 服务仅允许本机访问，若需要允许局域网其他设备直接访问，可修改环境变量 OLLAMA_HOST 为 0.0.0.0，并修改 OLLAMA_ORIGINS 为允许的域名或 IP 地址。
环境变量设置示例：

1. # windows 命令提示符下执行：
2. setx OLLAMA_HOST 0.0.0.0:11434
3. setx OLLAMA_ORIGINS *
5. # macOS 终端下执行：
6. launchctl setenv OLLAMA_HOST "0.0.0.0:11434"
7. launchctl setenv OLLAMA_ORIGINS "*"

复制代码

特殊注意：

• • 如果你是在云服务器等拥有公网IP的环境上部署，请谨慎做此设置，否则大概导致 API 服务被恶意调用。
  
• • 若需要局域网其他设备访问，请确保防火墙等安全设置允许 11434 端口访问。
  
• • 若需要自定义访问端口号，可通过环境变量 OLLAMA_HOST 设置，如：OLLAMA_HOST=0.0.0.0:11435。
  

4.3 为 ollama API 服务访问增加 API KEY 掩护

为云服务器部署的服务增加 API KEY 以掩护服务
如果你是通过云服务器部署，那么需要特殊注意服务安全，制止被互联网工具扫描而泄露，导致资源被第三方使用。
可以通过部署 nginx 并设置署理转发，以增加 API KEY 以掩护服务，同时需要屏蔽对 11434 端口的互联网直接访问形式。
nginx 设置：

1. server {
2.     # 用于公网访问的端口
3.     listen 8434;
4.     # 域名绑定，若无域名可移除
5.     server_name your_domain.com;
7.     location / {
8.         # 验证 API KEY。这里的 your_api_key 应随便修改为你希望设置的内容
9.         # 可通过 uuid 生成器工具随机生成一个：https://tool.lzw.me/uuid-generator
10.         if ($http_authorization != "Bearer your_api_key") {
11.             return 403;
12.         }
14.         # 代理转发到 ollama 的 11434 端口
15.         proxy_pass http://localhost:11434;
16.         proxy_set_header Host $host;
17.         proxy_set_header X-Real-IP $remote_addr;
18.         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
19.         proxy_set_header X-Forwarded-Proto $scheme;
20.     }
21. }

复制代码

5 集成可视化工具

在部署了 ollama 并拉取了 deepseek 等模子后，即可通过命令行交互和 API 服务方式使用，但使用起来并不方便。
开源社区中有很多大模子相干的可视化工具，如 open-webui、chat-ui、cherry-studio、AnythingLLM 等，可以方便地集成 ollama API 服务，提供图形化界面使用，以实现聊天呆板人、问答知识库等多元化应用。在官方文档中罗列了大量较为流行的工具应用：https://ollama.readthedocs.io/quickstart/#web
我们后续会选择其中较为典型的工具举行集成和介绍。
5.1 示例：基于 docker 部署 open-webui 并设置集成 ollama 服务

Open WebUI 是一个开源的大语言模子项目，通过部署它可以得到一个纯本地运行的基于欣赏器访问的 Web 服务。它提供了可扩展、功能丰富、用户友爱的自托管 AI Web 界面，支持各种大型语言模子（LLM）运行器，可以通过设置形式便捷的集成 ollama、OpenAI 等提供的 API。
通过 Open WebUI 可以实现聊天呆板人、本地知识库、图像生成等丰富的大模子应用功能。
在开始之前，请确保你的系统已经安装了 docker。
接着拉取大语言模子 deepseek-r1:8b 和用于 RAG 构建本地知识库的嵌入模子 bge-m3：

1. ollama pull deepseek-r1:8b
2. ollama pull bge-m3

复制代码

然后新建文件 docker-compose.yml，内容参考：

1. services:
2.   open-webui:
3.     image:ghcr.io/open-webui/open-webui:main
4.     environment:
5.       -OLLAMA_API_BASE_URL=http://ollama:11434/api
6.       -HF_ENDPOINT=https://hf-mirror.com
7.       -WEBUI_NAME="LZW的LLM服务"
8.       # 禁用 OPENAI API 的请求。若你的网络环境无法访问 openai，请务必设置该项为 false
9.       # 否则在登录成功时，会因为同时请求了 openai 接口而导致白屏时间过长
10.       -ENABLE_OPENAI_API=false
11.       # 设置允许跨域请求服务的域名。* 表示允许所有域名
12.       -CORS_ALLOW_ORIGIN=*
13.       # 开启图片生成
14.       -ENABLE_IMAGE_GENERATION=true
15.       # 默认模型
16.       -DEFAULT_MODELS=deepseek-r1:8b
17.       # RAG 构建本地知识库使用的默认嵌入域名
18.       -RAG_EMBEDDING_MODEL=bge-m3
19.     ports:
20.       -8080:8080
21.     volumes:
22.       -./open_webui_data:/app/backend/data
23.     extra_hosts:
24.       # - host.docker.internal:host-gateway

复制代码

这里需注意 environment 环境变量部门的自定义设置。很多设置也可以通过登录后在 web 界面举行修改。
在该目录下执行该命令以启动服务：docker-compose up -d。乐成后即可通过欣赏器访问：http://localhost:8080。
服务镜像更新参考：

1. # 拉取新镜像
2. docker-compose pull
3. # 重启服务
4. docker-compose up -d --remove-orphans
5. # 清理镜像
6. docker image prune

复制代码

• • open-webui 详细文档参考：https://docs.openwebui.com/getting-started/env-configuration
  

可选：开启“联网搜索”功能
利用路径：设置 - 联网搜索 - 启用联网搜索
当前已支持接入的联网搜索引擎中，在不需要魔法上网的环境下，有 bing 和 bocha 可以选择接入。基本只需要前往注册并获取 API KEY 回填到这里即可。如果需要掩护隐私数据，请不要开启并设置该功能。

• • 博查文档：https://aq6ky2b8nql.feishu.cn/wiki/XgeXwsn7oiDEC0kH6O3cUKtknSR
  

总结与参考

通过以上内容，我们了解了 ollama 在国内环境下的安装使用方法，并介绍了因为国内网络特色导致安装过程大概会遇到的常见题目及办理办法。希望这些内容对你有所资助，如果你有任何题目或发起，欢迎在评论区留言交换。

• • ollama 官方站：https://ollama.com
  
• • ollama 中文站：https://ollama.org.cn
  
• • ollama 入门：https://ollama.readthedocs.io/quickstart/
  
• • ollama 常见题目：https://ollama.readthedocs.io/faq/
  
• • 魔塔社区：https://modelscope.cn
  
• • HF Mirror：https://hf-mirror.com
  
• • open-webui 文档：https://docs.openwebui.com
  

DeepSeek无疑是2025开年AI圈的一匹黑马，在一众AI大模子中，DeepSeek以低价高性能的优势脱颖而出。DeepSeek的上线实现了AI界的又一大突破，各大科技巨头都火速出手，抢先抢占DeepSeek大模子的流量风口。
DeepSeek的爆火，远不止于此。它是一场属于每个人的科技革命，一次冲破界限的时机，一次让普通人也能逆袭契机。
DeepSeek的长处

把握DeepSeek对于转行大模子范畴的人来说是一个很大的优势，目前懂得大模子技术方面的人才很稀缺，而DeepSeek就是一个突破口。现在越来越多的人才都想往大模子方向转行，对于想要转行创业，提拔自我的人来说是一个不可多得的时机。
如何学习AI大模子 ？

“最先把握AI的人，将会比较晚把握AI的人有竞争优势”。
这句话，放在盘算机、互联网、移动互联网的开局时期，都是一样的原理。
我在一线互联网企业工作十余年里，指导过不少同行子弟。资助很多人得到了学习和发展。
我意识到有很多履历和知识值得分享给大家，故此将并将重要的AI大模子资料。包括AI大模子入门学习思维导图、精品AI大模子学习册本手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】

---

欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/)

Powered by Discuz! X3.4