鼠扑 发表于 2025-4-10 05:14:04

玩转 Deepseek ——第一篇、当地化部署(Windows+Ollama+Docker+OpenWebUI)

目录
第一章、需求分析
1.1 私有化部署Deepseek分析
1.1.1市场优势分析
1.1.2 技能优势分析
1.2 软硬件需求
第二章、部署步骤
2.1 Ollama 下载安装
2.1.1 Ollama 下载
2.1.2 Ollama 安装
2.1.3 Ollama 验证
2.2 Deepseek-r1 模型下载安装
2.2.1 Ollma 安装 deepseek-r1 模型
2.2.2 测试 deepseek-r1 模型
2.3 Docker下载安装
2.3.1检查安装环境
2.3.2 安装 Docker for Desktop
2.3.3 配置docker
2.4 OpenWebUI配置
2.4.1 启动 open-webui
2.4.2 功能测试:正常!
第三章、总结即下期规划
3.1 本次学习测试总结:
3.2 下期规划:







第一章、需求分析

1.1 私有化部署Deepseek分析

1.1.1市场优势分析

一、数据安全与隐私保护


[*] ‌数据自主掌控‌:所有数据存储于企业当地根本办法,企业可完全控制访问权限及安全计谋,规避第三方云端数据泄漏风险‌。
[*] ‌敏感信息防护‌:集成辨认机制屏蔽敏感内容,满意政务、金融等强羁系领域的安全合规需求‌。
二、成本优化


[*] ‌硬件成本低落‌:轻量化架构支持消费级GPU(如RTX 3090)运行,无需高端算力集群‌。
[*] ‌运营服从提升‌:推理优化技能低落30%-50%盘算资源占用,减少能耗与长期订阅费用‌。
三、性能与服从提升


[*] ‌响应速率快‌:当地部署减少网络延迟,可实现每秒60词生成速率及毫秒级响应‌。
[*] ‌国产硬件适配‌:支持华为昇腾、海光等国产AI芯片,提升算力使用率‌。
四、业务一连性与稳定性


[*] ‌离线运行保障‌:外网中断时仍可维持焦点业务运行,确保服务不中断‌。
[*] ‌资源灵活调度‌:根据业务需求动态分配算力,制止云服务资源闲置‌。
五、合规与灵活性


[*] ‌行业定制能力‌:支持参数调整、训练数据适配,满意政务、医疗等场景的个性化需求‌。
[*] ‌知识产权保护‌:当地部署制止技能方案与数据资产外流,减少供应商锁定风险‌。
‌典型应用‌:武汉市江夏区政务平台通过私有化部署实现AI全链路生产,内容生成服从提升3倍,错误率下降90%‌。


1.1.2 技能优势分析

deepseek-r1 提供多个版本,参数量越大,模型的性能越强盛,但也必要更多的存储和盘算资源。


[*]1.5b 模型参数为15亿/1.1GB,
[*]7b 模型参数约为 70亿/4.7GB,
[*]14b 模型参数约为 140亿/9GB。
[*]等https://i-blog.csdnimg.cn/direct/972b9f0905e44c5a846f68ae645a16f9.jpeg
用户可根据自身需求,部署实用于自身的deepseek模型,在保障安全性的条件下,有用提升工作服从,等优势。


1.2 软硬件需求

1.2.1  硬件需求
DeepSeek R1 当地部署的硬件需求如下:
根本推荐配置:CPU: 8核或以上,内存: 32GB或以上,存储: 100GB SSD或以上
GPU: NVIDIA GTX2080或同等性能
DeepSeek-7B 推荐配置:RTX3060 以上显卡 + 16G以上 内存 + 50G SSD 存储空间
DeepSeek-70B 推荐配置:RTX4060 以上显卡 + 32G以上 内存 + 200G SSD 存储空间
本教程使用的硬件配置为:
CPU: Intel i5-12490/3.00GHz
内存: 32GB
存储: 500GB SSD
GPU: NVIDIA GTX 3060。

1.2.2  软件依靠
DeepSeek R1 当地部署的软件依靠包罗操作体系、容器化工具、编程语言、深度学习框架、数据库、消息队列、Web 服务器、GPU 加速工具、版本控制、包管理工具、监控与日记工具以及安全工具。
本教程采用 Windows10 操作版本、Python 3.8 版本、PyTorch 1.7 版本。


第二章、部署步骤

2.1 Ollama 下载安装

2.1.1 Ollama 下载

Ollama 是一个开源的当地模型运行工具,可以方便地下载和运行各种开源模型,如 Llama、Qwen、DeepSeek 等。
Ollama 提供高效、灵活的大模型部署和管明白决方案,可以简化模型的部署流程。支持macOS、Linux、Windows 操作体系。
官网地址:https://ollama.com/
下载地址:https://ollama.com/download
https://i-blog.csdnimg.cn/direct/ededd9f1ce544d4db02850ca03d8422f.png
 
2.1.2 Ollama 安装

下载完成后直接点击 OllamaSetup.exe 进行安装。
https://i-blog.csdnimg.cn/direct/964591a7efdc4cee8303c570624d0e24.png
安装完成后,cmd 打开命令行窗口,输入 “ollama -v” 测试,表现 ollama 的版本为 “0.5.12”,表明安装成功。
https://i-blog.csdnimg.cn/direct/e5c0219f623b42e3966b50defeb70d96.png

2.1.3 Ollama 验证

Ollama 没有用户界面,在后台会自动运行,重启电脑也会自动启动。
打开欣赏器,输入 :
“http://localhost:11434/”,
表现 “Ollama is running”。
https://i-blog.csdnimg.cn/direct/5697e04e1ea04c3d9a89af67ab5526c0.png


2.2 Deepseek-r1 模型下载安装

DeepSeek-R1,是幻方量化旗下AI公司深度求索(DeepSeek)研发的推理模型 。DeepSeek-R1采用强化学习进行后训练,旨在提升推理能力,尤其擅长数学、代码和天然语言推理等复杂使命 。2024年11月20日,DeepSeek-R1-Lite预览版正式上线 。2025年1月20日,幻方量化旗下AI公司深度求索(DeepSeek)正式发布DeepSeek-R1模型,并同步开源模型权重。2025年1月31日,DeepSeek R1 671b已作为英伟达NIM微服务预览版发布。

2.2.1 Ollma 安装 deepseek-r1 模型

从 ollama 官网 查找 deepseek-r1 模型。(网址见:1.2.1章节)
2.2.1.1. 点击【Models】,跳转。
https://i-blog.csdnimg.cn/direct/05ff8511614f49d0974fe008267e1468.png
2.2.1.2. 点击【deepseek-r1】,跳转。
https://i-blog.csdnimg.cn/direct/ec7e6e730a1449cc85a9ea7ad221e397.png

2.2.1.3. 选择本身必要的版本后复制链接内容。
https://i-blog.csdnimg.cn/direct/94306790a75644ea92bc2eb24af34f52.png

2.2.1.4. 本教程选择选择 7b 模型,在CMD命令行窗口运行安装命令 “ollama run deepseek-r1”,步伐会自动下载和安装运行。
https://i-blog.csdnimg.cn/direct/5034809a02b848d69afd5f50d45b6235.png
注:后面70%,进度较慢,必要等待!
默认地址是 “C:\Users%username%.ollama\models”。
如果要修改模型的保存地址,可以新建一个文件夹如 “C:\Model”,然后在体系环境变量添加体系变量:
“变量名:OLLAMA_MODELS,
变量值:C:\Model”。

2.2.1.5. 出现【success】即安装成功!!
https://i-blog.csdnimg.cn/direct/4ef2e048c2214a1093537a6af3b644a9.png

2.2.2 测试 deepseek-r1 模型

(1)在命令行窗口运行命令 “ollama run deepseek-r1:7b”,就可以在提示行输入,与 deepseek-r1 进行聊天。
https://i-blog.csdnimg.cn/direct/cc5337e546e44420ba4f82a84d62d2a5.png

(2)输入 “/?”,可以获得帮助。
https://i-blog.csdnimg.cn/direct/33f30389ec0b4cc98b9990269ff50fb8.png
%%: 通过当地命令行窗口可以使用 deepseek-r1,但这让人回到了 DOS 年代,交互体验很差。接下来我们按照 Docker 和 Open WebUI 用户界面,可以更便捷地使用 deepseek-r1。



2.3 Docker下载安装

Docker是一种虚拟化容器技能。Docker基于镜像,可以秒级启动各种容器。每一种容器都是一个完整的运行环境,容器之间互相隔离。

2.3.1检查安装环境

(1)在 Windows 使命管理器中,检查体系是否开启虚拟化。
打开使命管理器(Ctrl+Alt+Delete),选择:性能 - CPU - 虚拟化,确认“虚拟化”已启用。
https://i-blog.csdnimg.cn/direct/90113036333a4c848ed29a2114d0589a.png

未开启虚拟化解决方案:
      如果未开启虚拟化,则要开机重启并进入BIOS 进行设置:在 BIOS 选择:Advanced(高级)-- CPU Configuration – Secure Virtual Machine,设置为:Enabled(启用)。

(2)在 “控制面板” 打开 “步伐”,然后点击 “启用或关闭 Windows 功能”,勾选 “Hyper-V 管理工具” 和 “Hyper-V 平台”。
https://i-blog.csdnimg.cn/direct/722dffd12a7948dd912311a29587b0f7.png
界说 Hyper-V - Training | Microsoft LearnHyper-V学习:界说 Hyper-V - Training | Microsoft Learn


(3)以管理员身份打开命令行窗口,输入 “wsl --set-default-version 2”,将默认设置为 WSL 2。
通过实用于 Linux 的 Windows 子体系 (WSL),开发人员可以安装 Linux 发行版,并直接在 Windows 上使用 Linux 应用步伐、实用步伐和 Bash 命令行工具,不消进行任何修改。
命令行窗口,输入 “wsl --update --web-download”,更新安装 wsl。【管理员权限!!】
https://i-blog.csdnimg.cn/direct/1c55f54378e842419403e78dd67cd996.png
https://i-blog.csdnimg.cn/direct/fcfd0fdf840045aaa9094da89f00ee47.png


2.3.2 安装 Docker for Desktop

Docker Desktop 是 Docker 官方提供的桌面应用步伐,旨在让开发者可以或许在 Windows 和 macOS 体系上轻松地构建、运行和共享容器化应用步伐。Docker Desktop 提供了一个方便的工具集,使用户可以或许快速部署容器化应用步伐,同时还包罗了一些强盛的功能和工具,如 Docker Engine、Docker CLI、Docker Compose 等。

(1)从 Docker 官方 下载 Docker 安装步伐。
网址:Docker: Accelerated Container Application Development
https://i-blog.csdnimg.cn/direct/23508f88faae4f768ba4904242714cc6.png

(2)运行安装包
https://i-blog.csdnimg.cn/direct/a69c321db03b459886445a810bf0294a.png
https://i-blog.csdnimg.cn/direct/9f115e1ed112403bab58598f0df34820.png
https://i-blog.csdnimg.cn/direct/07fdeadd08d64f68afc64b07f1946899.png

(3)安装完成后,cmd 打开命令行窗口,输入 “docker version” 检查
https://i-blog.csdnimg.cn/direct/7e474889af40463e83aa90f3c757472b.png

2.3.3 配置docker

(1)安装完成后,我们打开docker,注册登录一下docker(可跳过),然后在右下角点击Terminal,打开控制台,然后输入下面命令,然后等待安装完成。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main https://i-blog.csdnimg.cn/direct/485863268d0340f3a3bf99a7c1a41590.png

(2)安装完成之后,我们在左侧点击Images(镜像),点击运行,如果必要有配置,默认即可。
https://i-blog.csdnimg.cn/direct/e3ba80c457994e8d8b55e5b63fa0a05c.png

(3)点击Container(容器),点击端口号
https://i-blog.csdnimg.cn/direct/518df9912eef421a9da3df81bb3f6503.png

出现以下界面,即成功!https://i-blog.csdnimg.cn/direct/50b14ff086924ecf95f308b6a960c5da.png


2.4 OpenWebUI配置

Open WebUI是一个可扩展、功能丰富、用户友好的自托管 WebUI,旨在完全离线操作。它支持各种LLM运行步伐,包罗 Ollama 和 OpenAI 兼容的 API。Open WebUI 适配了 Ollama 接口,提供了 web 的方式来访问 Ollama API。

2.4.1 启动 open-webui

点击【开始使用】
https://i-blog.csdnimg.cn/direct/50b14ff086924ecf95f308b6a960c5da.png

创建管理员账号:
https://i-blog.csdnimg.cn/direct/31c1d84feeee4768a54efa1e8493ace7.png

即可开始使用!
https://i-blog.csdnimg.cn/direct/3aa991dc935146949b5792bdd218409d.png


2.4.2 功能测试:正常!

(1)当地测试:功能正常
https://i-blog.csdnimg.cn/direct/d3d3ab83a7f246f588114dafb85896e9.png


(2)无互联网情景下测试:功能正常
https://i-blog.csdnimg.cn/direct/5db7814b73244d8fa6b0a039406815bf.png


(3)局域网内其他终端测试:功能正常!(安卓手机)
https://i-blog.csdnimg.cn/direct/f1e6c1944fbb452d801e615fe23b5de6.jpeg


第三章、总结即下期规划

3.1 本次学习测试总结:


[*]Deepseek支持私有化部署且在无互联网的情景下完成思考使命。
[*]Deepseek运行对配置要求很高,本次测试思考时间较长

3.2 下期规划:

即将开启:《玩转 Deepseek——第2篇、知识库部署及使用》 时间:2025年3月29日

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 玩转 Deepseek ——第一篇、当地化部署(Windows+Ollama+Docker+OpenWebUI)