目录
第一章、需求分析
1.1 私有化部署Deepseek分析
1.1.1市场优势分析
1.1.2 技能优势分析
1.2 软硬件需求
第二章、部署步骤
2.1 Ollama 下载安装
2.1.1 Ollama 下载
2.1.2 Ollama 安装
2.1.3 Ollama 验证
2.2 Deepseek-r1 模型下载安装
2.2.1 Ollma 安装 deepseek-r1 模型
2.2.2 测试 deepseek-r1 模型
2.3 Docker下载安装
2.3.1检查安装环境
2.3.2 安装 Docker for Desktop
2.3.3 配置docker
2.4 OpenWebUI配置
2.4.1 启动 open-webui
2.4.2 功能测试:正常!
第三章、总结即下期规划
3.1 本次学习测试总结:
3.2 下期规划:
第一章、需求分析
1.1 私有化部署Deepseek分析
1.1.1市场优势分析
一、数据安全与隐私保护
- 数据自主掌控:所有数据存储于企业当地根本办法,企业可完全控制访问权限及安全计谋,规避第三方云端数据泄漏风险。
- 敏感信息防护:集成辨认机制屏蔽敏感内容,满意政务、金融等强羁系领域的安全合规需求。
二、成本优化
- 硬件成本低落:轻量化架构支持消费级GPU(如RTX 3090)运行,无需高端算力集群。
- 运营服从提升:推理优化技能低落30%-50%盘算资源占用,减少能耗与长期订阅费用。
三、性能与服从提升
- 响应速率快:当地部署减少网络延迟,可实现每秒60词生成速率及毫秒级响应。
- 国产硬件适配:支持华为昇腾、海光等国产AI芯片,提升算力使用率。
四、业务一连性与稳定性
- 离线运行保障:外网中断时仍可维持焦点业务运行,确保服务不中断。
- 资源灵活调度:根据业务需求动态分配算力,制止云服务资源闲置。
五、合规与灵活性
- 行业定制能力:支持参数调整、训练数据适配,满意政务、医疗等场景的个性化需求。
- 知识产权保护:当地部署制止技能方案与数据资产外流,减少供应商锁定风险。
典型应用:武汉市江夏区政务平台通过私有化部署实现AI全链路生产,内容生成服从提升3倍,错误率下降90%。
1.1.2 技能优势分析
deepseek-r1 提供多个版本,参数量越大,模型的性能越强盛,但也必要更多的存储和盘算资源。
- 1.5b 模型参数为15亿/1.1GB,
- 7b 模型参数约为 70亿/4.7GB,
- 14b 模型参数约为 140亿/9GB。
- 等
用户可根据自身需求,部署实用于自身的deepseek模型,在保障安全性的条件下,有用提升工作服从,等优势。
1.2 软硬件需求
1.2.1 硬件需求
DeepSeek R1 当地部署的硬件需求如下:
根本推荐配置:CPU: 8核或以上,内存: 32GB或以上,存储: 100GB SSD或以上
GPU: NVIDIA GTX2080或同等性能
DeepSeek-7B 推荐配置:RTX3060 以上显卡 + 16G以上 内存 + 50G SSD 存储空间
DeepSeek-70B 推荐配置:RTX4060 以上显卡 + 32G以上 内存 + 200G SSD 存储空间
本教程使用的硬件配置为:
CPU: Intel i5-12490/3.00GHz
内存: 32GB
存储: 500GB SSD
GPU: NVIDIA GTX 3060。
1.2.2 软件依靠
DeepSeek R1 当地部署的软件依靠包罗操作体系、容器化工具、编程语言、深度学习框架、数据库、消息队列、Web 服务器、GPU 加速工具、版本控制、包管理工具、监控与日记工具以及安全工具。
本教程采用 Windows10 操作版本、Python 3.8 版本、PyTorch 1.7 版本。
第二章、部署步骤
2.1 Ollama 下载安装
2.1.1 Ollama 下载
Ollama 是一个开源的当地模型运行工具,可以方便地下载和运行各种开源模型,如 Llama、Qwen、DeepSeek 等。
Ollama 提供高效、灵活的大模型部署和管明白决方案,可以简化模型的部署流程。支持macOS、Linux、Windows 操作体系。
官网地址:https://ollama.com/
下载地址:https://ollama.com/download
2.1.2 Ollama 安装
下载完成后直接点击 OllamaSetup.exe 进行安装。
安装完成后,cmd 打开命令行窗口,输入 “ollama -v” 测试,表现 ollama 的版本为 “0.5.12”,表明安装成功。
2.1.3 Ollama 验证
Ollama 没有用户界面,在后台会自动运行,重启电脑也会自动启动。
打开欣赏器,输入 :
“http://localhost:11434/”,
表现 “Ollama is running”。
2.2 Deepseek-r1 模型下载安装
DeepSeek-R1,是幻方量化旗下AI公司深度求索(DeepSeek)研发的推理模型 。DeepSeek-R1采用强化学习进行后训练,旨在提升推理能力,尤其擅长数学、代码和天然语言推理等复杂使命 。2024年11月20日,DeepSeek-R1-Lite预览版正式上线 。2025年1月20日,幻方量化旗下AI公司深度求索(DeepSeek)正式发布DeepSeek-R1模型,并同步开源模型权重。2025年1月31日,DeepSeek R1 671b已作为英伟达NIM微服务预览版发布。
2.2.1 Ollma 安装 deepseek-r1 模型
从 ollama 官网 查找 deepseek-r1 模型。(网址见:1.2.1章节)
2.2.1.1. 点击【Models】,跳转。
2.2.1.2. 点击【deepseek-r1】,跳转。
2.2.1.3. 选择本身必要的版本后复制链接内容。
2.2.1.4. 本教程选择选择 7b 模型,在CMD命令行窗口运行安装命令 “ollama run deepseek-r1”,步伐会自动下载和安装运行。
注:后面70%,进度较慢,必要等待!
默认地址是 “C:\Users%username%.ollama\models”。
如果要修改模型的保存地址,可以新建一个文件夹如 “C:\Model”,然后在体系环境变量添加体系变量:
“变量名:OLLAMA_MODELS,
变量值:C:\Model”。
2.2.1.5. 出现【success】即安装成功!!
2.2.2 测试 deepseek-r1 模型
(1)在命令行窗口运行命令 “ollama run deepseek-r1:7b”,就可以在提示行输入,与 deepseek-r1 进行聊天。
(2)输入 “/?”,可以获得帮助。
%%: 通过当地命令行窗口可以使用 deepseek-r1,但这让人回到了 DOS 年代,交互体验很差。接下来我们按照 Docker 和 Open WebUI 用户界面,可以更便捷地使用 deepseek-r1。
2.3 Docker下载安装
Docker是一种虚拟化容器技能。Docker基于镜像,可以秒级启动各种容器。每一种容器都是一个完整的运行环境,容器之间互相隔离。
2.3.1检查安装环境
(1)在 Windows 使命管理器中,检查体系是否开启虚拟化。
打开使命管理器(Ctrl+Alt+Delete),选择:性能 - CPU - 虚拟化,确认“虚拟化”已启用。
未开启虚拟化解决方案:
如果未开启虚拟化,则要开机重启并进入BIOS 进行设置:在 BIOS 选择:Advanced(高级)-- CPU Configuration – Secure Virtual Machine,设置为:Enabled(启用)。
(2)在 “控制面板” 打开 “步伐”,然后点击 “启用或关闭 Windows 功能”,勾选 “Hyper-V 管理工具” 和 “Hyper-V 平台”。
界说 Hyper-V - Training | Microsoft LearnHyper-V学习:界说 Hyper-V - Training | Microsoft Learn
(3)以管理员身份打开命令行窗口,输入 “wsl --set-default-version 2”,将默认设置为 WSL 2。
通过实用于 Linux 的 Windows 子体系 (WSL),开发人员可以安装 Linux 发行版,并直接在 Windows 上使用 Linux 应用步伐、实用步伐和 Bash 命令行工具,不消进行任何修改。
命令行窗口,输入 “wsl --update --web-download”,更新安装 wsl。【管理员权限!!】
2.3.2 安装 Docker for Desktop
Docker Desktop 是 Docker 官方提供的桌面应用步伐,旨在让开发者可以或许在 Windows 和 macOS 体系上轻松地构建、运行和共享容器化应用步伐。Docker Desktop 提供了一个方便的工具集,使用户可以或许快速部署容器化应用步伐,同时还包罗了一些强盛的功能和工具,如 Docker Engine、Docker CLI、Docker Compose 等。
(1)从 Docker 官方 下载 Docker 安装步伐。
网址:Docker: Accelerated Container Application Development
(2)运行安装包
(3)安装完成后,cmd 打开命令行窗口,输入 “docker version” 检查
2.3.3 配置docker
(1)安装完成后,我们打开docker,注册登录一下docker(可跳过),然后在右下角点击Terminal,打开控制台,然后输入下面命令,然后等待安装完成。
- docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
复制代码
(2)安装完成之后,我们在左侧点击Images(镜像),点击运行,如果必要有配置,默认即可。
(3)点击Container(容器),点击端口号
出现以下界面,即成功!
2.4 OpenWebUI配置
Open WebUI是一个可扩展、功能丰富、用户友好的自托管 WebUI,旨在完全离线操作。它支持各种LLM运行步伐,包罗 Ollama 和 OpenAI 兼容的 API。Open WebUI 适配了 Ollama 接口,提供了 web 的方式来访问 Ollama API。
2.4.1 启动 open-webui
点击【开始使用】
创建管理员账号:
即可开始使用!
2.4.2 功能测试:正常!
(1)当地测试:功能正常
(2)无互联网情景下测试:功能正常
(3)局域网内其他终端测试:功能正常!(安卓手机)
第三章、总结即下期规划
3.1 本次学习测试总结:
- Deepseek支持私有化部署且在无互联网的情景下完成思考使命。
- Deepseek运行对配置要求很高,本次测试思考时间较长
3.2 下期规划:
即将开启:《玩转 Deepseek——第2篇、知识库部署及使用》 时间:2025年3月29日
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |