本地私有化部署 DeepSeek & Dify ,告别“服务器繁忙,请稍后再试”
前言DeepSeek 最近实在太火爆了,导致官网对话访问常常提示“服务器繁忙,请稍后再试”。 如下图所示:
https://i-blog.csdnimg.cn/img_convert/46a74f13b6916878e4b6d3139dd41088.png
关于什么是DeepSeek这里就不科普了,本身上网任意查一下就知道了。
https://i-blog.csdnimg.cn/img_convert/195b9033f42e74d5cde438c5879b05db.png
官网:https://www.deepseek.com/
目前DeepSeek最大的问题是访问流量太大,导致用户体验不好,它的深度思索模型和联网本事没有充分发挥出来,不过我信任后续加大投入,这类问题应该能得到缓解。
本文重要面向想在本地部署私有模型的开发同学,打造专属私家AI助手。
前置准备
硬件情况
[*]MacBook Pro(保举)
[*]CPU >= 2 Core
[*]内存 >=16GB (保举)
笔者的电脑配置:
https://i-blog.csdnimg.cn/img_convert/8123ce0076d7b00dfcbabdec6230d573.png
软件情况
[*]Docker
[*]Docker Compose
[*]Ollama
[*]Dify 社区版
[*]ChatBox
注:这里只演示在MacBook的部署过程,Windows和Linux的同学请自行实践。
安装Ollama & 加载模型
什么是Ollama?
Ollama 是一款跨平台的大模型管理客户端(MacOS、Windows、Linux),旨在无缝部署大型语言模型 (LLM),例如 DeepSeek、Llama、Mistral 等。Ollama 提供大模型一键部署,所有使用数据均会保存在本地机器内,提供全方面的数据隐私和安全性。
https://i-blog.csdnimg.cn/img_convert/2a302d6fd8ce4f0cdd5a429e86fa5918.png
官网:https://ollama.com/
下载&加载本地模型
下载安装完ollama后,通过命令行可以查看对应的版本,并可以开始部署你想要的模型,这里选择的是deepseek-r1(默认是7b)。
https://i-blog.csdnimg.cn/img_convert/f3f1b2d213590aaf1af7b5ea87ef0463.png
https://i-blog.csdnimg.cn/img_convert/0a2b2d8dfb54de03ab259b5fdbf93e97.png
https://ollama.com/library/deepseek-r1
ollama run deepseek-r1
安装交互式UI:ChatBox
什么是ChatBox?
Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先辈的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。
https://chatboxai.app/zh
https://i-blog.csdnimg.cn/img_convert/4d4119839b49cfe6b8fe64c017755b7b.png
[*]选择模型提供方:OLLAMA API
[*]填入API域名:http://127.0.0.1:11434
[*]选择模型:deepseek-r1:latest
验证本地模型对话
https://i-blog.csdnimg.cn/img_convert/403c96bc28eeca63fcb620ecb68e3a83.png
至此你已经可以通过chatbox来跟deepseek对话, 如果你只是想体验DeepSeek的功能, 下面关于Dify 大模型服务搭建可以略过。
Dify 搭建个人知识库
什么是Dify?
Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你好坏技术职员,也能参与到 AI 应用的界说和数据运营过程中。
https://i-blog.csdnimg.cn/img_convert/0f07b288ce0337aee34af4a37099b997.png
Docker Compose部署
git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
参考Docker Compose部署
https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose
启动Docker容器
docker compose up -d # 如果版本是Docker Compose V1,使用命令:docker-compose up -d
假设遇到以下问题,可以在前面我们安装的Docker Desktop设置里面配置镜像:
https://i-blog.csdnimg.cn/img_convert/0b3d1ea4745554acdd802ccb78a7224f.png
Docker Engine 配置
https://i-blog.csdnimg.cn/img_convert/d815cba1255b57e0334bbfbaef877a78.png
{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"experimental": false,
"registry-mirrors": [
"https://registry.dockermirror.com",
"https://docker-0.unsee.tech",
"https://docker.1panel.live",
"https://docker.imgdb.de",
"https://docker.m.daocloud.io",
"https://docker.tbedu.top",
"https://image.cloudlayer.icu",
"https://docker.melikeme.cn",
"https://cr.laoyou.ip-ddns.com",
"https://dockerpull.cn",
"https://hub.fast360.xyz",
"https://docker.hlmirror.com"
]
}
国内署理常常失效或访问超时,这里可以多尝试几次,大概配置新的署理镜像地址。
参考:目前国内可用Docker镜像源汇总(https://www.coderjia.cn/archives/dba3f94c-a021-468a-8ac6-e840f85867ea)
镜像容器启动乐成如下所示:
https://i-blog.csdnimg.cn/img_convert/0f5c454ac4534add49e540838431ce26.png
Dify 平台添加Ollama模型
1、浏览器访问http://localhost/(默认 80 端口),进入Dify。
2、首次进入初始化设置账号暗码
3、点击 Dify 平台右上角头像-> 设置 -> 模型供应商,选择Ollama,点击“添加模型”
https://i-blog.csdnimg.cn/img_convert/2fa8f7183aea99a1d608347c1acf04ab.png
https://i-blog.csdnimg.cn/img_convert/56cf9136eb53389ef50ed65b2408f610.png
[*]模型名称:deepseek-r1
[*]基础URL:http://host.docker.internal:11434
https://i-blog.csdnimg.cn/img_convert/da2cebcce759b1db8a9afbc2e0eb7bb6.png
Dify 创建应用
https://i-blog.csdnimg.cn/img_convert/158922c2643f3deeb3261d827a435c94.png
Dify支持谈天助手、Agent、文本生成等基础应用,还支持进阶应用Chatflow和工作流。这里我们先简朴尝试创建谈天助手,填入根本信息,点击“创建”即可。
Dify 创建知识库
主页选择知识库 -> 创建知识库 -> 上传知识,搭建属于你本身的知识库。
https://i-blog.csdnimg.cn/img_convert/8134c837ca2e95125bbf1626e4eae4b0.png
https://i-blog.csdnimg.cn/img_convert/e317f349a92f258cf6a7a7ee200655de.png
使用知识库
https://i-blog.csdnimg.cn/img_convert/e34439d6f463ff0109ac12189eef2873.png
至此,基于Dify搭建个人知识库已完成, 如此一来模型可以基于知识库输出更精确的的问答。
写在最后
本文实践了如何通过Ollama 本地部署DeepSeek R1 模型,并且尝试通过Dify 平台来创建个人知识库,进而搭建专属私家的AI 助手。笔者在实践的过程中也收获良多,打开了本身尝试AI工具的思绪。
DeepSeek 的爆火估计会让全球科技巨头重新审视“大力大肆(堆芯片,高成本)出古迹”的问题,一家名不见经传的小公司为什么能够突破创新,而且诞生在中国,岂非我们已经摆脱“追随者”的身份了?我信任这只是开始,AI军备比赛已经开始打响,作为普通人无法避开科技浪潮,如何不让本身随波逐流,或许我们需要躬身入局去体验,思索和探索。
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]