用户名
Email
论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
帖子
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
只需一步,快速开始
账号登录
立即注册
找回密码
用户名
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
IT评测·应用市场-qidao123.com
»
论坛
›
备份容灾
›
备份
›
【用Deepseek搭建免费的个人知识库–综合教程(完备版) ...
【用Deepseek搭建免费的个人知识库–综合教程(完备版)】第四篇:链接“网 ...
愛在花開的季節
金牌会员
|
2025-3-10 09:45:25
|
显示全部楼层
|
阅读模式
楼主
主题
995
|
帖子
995
|
积分
2985
【用Deepseek搭建免费的个人知识库–综合教程(完备版)】第四篇:链接“网页服务和大模型服务器”
前面三篇文章:第一篇【理论和架构】第二篇【Ollama语言大模型服务器】第三篇【open-webui网站服务器】 已经完成的话,我们现在要将前后端毗连起来。并且将他们配置好开始使用。
假设你的安装了高端显卡的服务器(运行着Ollama和Deepseek-r1)在家里或者在公司网络,那么现在可以使用的大致方法有三种:
购买VPN服务,让云端的轻型服务器和当地的高性能大语言模型服务器(运行着Ollama和Deepseek-r1)放在同一个网段中,然后在open-webui网站中配置局域网呆板一下,直接就可以访问高性能后端服务器。
使用花生壳或之类的域名软件,将高性能大语言模型服务器(运行着Ollama和Deepseek-r1)袒露在公网上,然后设置OLLAMA的私钥和公钥,安全的让云端服务器访问到当地的高性能大语言模型服务器。
使用端口映射工具(开源或者付费)来将高性能大语言服务器的11434端口映射到云端的轻型服务器上面(一般也是1143端口),这样云端的轻型服务器就可以像访问自己电脑的端口一样,来发送对话数据给大语言模型服务器(运行着Ollama和Deepseek-r1)。
三种方法各有利弊:
1: VPN(收费,续费,但是安全,快速上手,得当小白白。)
2: 二级域名或者动态IP更新(收费,轻易掉线,袒露公网当中,安全性一般,小白操作。)
3: 端口映射 (开源免费的软件多,也可以自己编写python程序实现,安全性可控,可以自界说加密,得当有点动手能力的猿人)。
重点来啦!让小白轻松上手又免费的工具
可以搜刮chmlfrp。chmlfrp现在的下载地点是:https://docs.chcat.cn/docs/chmlfrp/dw
还有NPS这个开源免费的工具,配置和使用教程我都帮你找好了:
撸一台免费的云服务器做内网穿透: https://blog.csdn.net/z47116888/article/details/135945438
撸一台免费的云服务器做内网穿透(二) : https://blog.csdn.net/z47116888/article/details/135990762
和:【NPS指南:简便稳定的内网穿透神器,开源免费!】
以上这么多文章都写的很清晰了。我们就不继续说了。
建议实行以上步调都尽量先把杀毒软件设置为信任状态。
好了,工具选好之后,我们将家里的或者公司里的高性能服务器访问到云端服务器的固定IP上面:也就是Ollama server的11434端口映射到Open-webUI服务器的11434端口。
然后打开open-webui服务器的docker开始运行open-webui项目,打开浏览器,输入网址+端口(例如:http://example.com:3000),第一次运行会大概需要5分钟。这里等待5分钟,是由于他会尝试毗连Open AI的服务器,由于国内的网络无法访问,所以会超时,只有超时过后,他才会显示出页面。
显示主页面之后我们就注册管理员信息,然后登录成为管理员打开设置面板,可以进行管理员设置。
在这里,我们打开设置中的外部毗连选项卡,把第一个open AI API给取消掉,打开第二个Ollama API,添加,点击齿轮按照图中配置:
172.17.0.1是docker镜像访问云服务器的宿主地点,端口号我把默认的11434映射到了云服务器的12434端口,因此我的地点是这样的。填写好之后,点击那个旋转按钮可以看到服务器毗连成功:
然后点击左侧的模型选项卡,开启可以使用的模型。再点击知识库选项卡:
语义向量模型引擎选择“ollama”默认为Transform,太垃圾,要改。
潜入层批处理巨细:拉动或者直接输入数字,可以是64或者128.数字越大越好。不外内存相应需求会增加。
初始语义向量模型的空格填入:nomic-embed-text:latest (这个模型你可以先用 ollama pull nomic-embed-text:latest )下载到当地,很快的。
弄好之后点击下面的“保存”按钮,你不点保存是不会生效的!!!
之后,点击左侧的工作空间–>点击知识库,选择创建输入知识库的名称和分析。然后就可以将你的只个人文件丢上去了,右上角有访问两个字的一个锁图标,
这个用来设置当前知识库是你个人的照旧公开的?你也可以设置权限构造,只答应特定的权限构造可以访问,例如VIP或者是付费用户。
现在你在对话的时间输入,“#”然后选择一个你需要指定的知识库,这个知识库中可能存放着你规定分类好的某一类文件,然后你的提问可能是对这一类文件进行的一系列问答。
颠末测试发现,7b模型要比1.5的模型更加智能,14b稍微比7b要强一点,32b就更强,准确的引用和有关数据的回复概率更高。当对话次数超过肯定的数目,对话的内容就会变得不那么准确。
tag:当地部署Deepseek,离线部署Deepseek。
下一篇文章,我们将会介绍怎样将Siri接入到我们的Deepseek服务器,免费token不限量。
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
举报
0 个回复
倒序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
发新帖
回复
愛在花開的季節
金牌会员
这个人很懒什么都没写!
楼主热帖
【网络进阶】网络问题排查实例集锦(实 ...
流批一体开源项目ChunJun技术公开课— ...
走好数据中台最后一公里,为什么说数据 ...
Socket的长连接和短连接
Redis 原理 - Hash
Flink 作业提交流程
数据库设计的步骤
一次服务器被入侵的处理过程分享 ...
RadonDB MySQL Kubernetes 2.2.0 发布 ...
HA启动Advanced SSH & Web Terminal 提 ...
标签云
运维
CIO
存储
服务器
快速回复
返回顶部
返回列表