【用Deepseek搭建免费的个人知识库–综合教程(完备版)】第四篇:链接“网 ...

打印 上一主题 下一主题

主题 982|帖子 982|积分 2946

【用Deepseek搭建免费的个人知识库–综合教程(完备版)】第四篇:链接“网页服务和大模型服务器”

前面三篇文章:第一篇【理论和架构】第二篇【Ollama语言大模型服务器】第三篇【open-webui网站服务器】 已经完成的话,我们现在要将前后端毗连起来。并且将他们配置好开始使用。
假设你的安装了高端显卡的服务器(运行着Ollama和Deepseek-r1)在家里或者在公司网络,那么现在可以使用的大致方法有三种:

  • 购买VPN服务,让云端的轻型服务器和当地的高性能大语言模型服务器(运行着Ollama和Deepseek-r1)放在同一个网段中,然后在open-webui网站中配置局域网呆板一下,直接就可以访问高性能后端服务器。
  • 使用花生壳或之类的域名软件,将高性能大语言模型服务器(运行着Ollama和Deepseek-r1)袒露在公网上,然后设置OLLAMA的私钥和公钥,安全的让云端服务器访问到当地的高性能大语言模型服务器。
  • 使用端口映射工具(开源或者付费)来将高性能大语言服务器的11434端口映射到云端的轻型服务器上面(一般也是1143端口),这样云端的轻型服务器就可以像访问自己电脑的端口一样,来发送对话数据给大语言模型服务器(运行着Ollama和Deepseek-r1)。
    三种方法各有利弊:
    1: VPN(收费,续费,但是安全,快速上手,得当小白白。)
    2: 二级域名或者动态IP更新(收费,轻易掉线,袒露公网当中,安全性一般,小白操作。)
    3: 端口映射 (开源免费的软件多,也可以自己编写python程序实现,安全性可控,可以自界说加密,得当有点动手能力的猿人)。
重点来啦!让小白轻松上手又免费的工具

可以搜刮chmlfrp。chmlfrp现在的下载地点是:https://docs.chcat.cn/docs/chmlfrp/dw
还有NPS这个开源免费的工具,配置和使用教程我都帮你找好了:
撸一台免费的云服务器做内网穿透: https://blog.csdn.net/z47116888/article/details/135945438
撸一台免费的云服务器做内网穿透(二) : https://blog.csdn.net/z47116888/article/details/135990762
和:【NPS指南:简便稳定的内网穿透神器,开源免费!】
以上这么多文章都写的很清晰了。我们就不继续说了。
建议实行以上步调都尽量先把杀毒软件设置为信任状态。

好了,工具选好之后,我们将家里的或者公司里的高性能服务器访问到云端服务器的固定IP上面:也就是Ollama server的11434端口映射到Open-webUI服务器的11434端口。
然后打开open-webui服务器的docker开始运行open-webui项目,打开浏览器,输入网址+端口(例如:http://example.com:3000),第一次运行会大概需要5分钟。这里等待5分钟,是由于他会尝试毗连Open AI的服务器,由于国内的网络无法访问,所以会超时,只有超时过后,他才会显示出页面。
显示主页面之后我们就注册管理员信息,然后登录成为管理员打开设置面板,可以进行管理员设置。

在这里,我们打开设置中的外部毗连选项卡,把第一个open AI API给取消掉,打开第二个Ollama API,添加,点击齿轮按照图中配置:

172.17.0.1是docker镜像访问云服务器的宿主地点,端口号我把默认的11434映射到了云服务器的12434端口,因此我的地点是这样的。填写好之后,点击那个旋转按钮可以看到服务器毗连成功:

然后点击左侧的模型选项卡,开启可以使用的模型。再点击知识库选项卡:

语义向量模型引擎选择“ollama”默认为Transform,太垃圾,要改。
潜入层批处理巨细:拉动或者直接输入数字,可以是64或者128.数字越大越好。不外内存相应需求会增加。
初始语义向量模型的空格填入:nomic-embed-text:latest (这个模型你可以先用 ollama pull nomic-embed-text:latest )下载到当地,很快的。
弄好之后点击下面的“保存”按钮,你不点保存是不会生效的!!!

之后,点击左侧的工作空间–>点击知识库,选择创建输入知识库的名称和分析。然后就可以将你的只个人文件丢上去了,右上角有访问两个字的一个锁图标,
这个用来设置当前知识库是你个人的照旧公开的?你也可以设置权限构造,只答应特定的权限构造可以访问,例如VIP或者是付费用户。

现在你在对话的时间输入,“#”然后选择一个你需要指定的知识库,这个知识库中可能存放着你规定分类好的某一类文件,然后你的提问可能是对这一类文件进行的一系列问答。
颠末测试发现,7b模型要比1.5的模型更加智能,14b稍微比7b要强一点,32b就更强,准确的引用和有关数据的回复概率更高。当对话次数超过肯定的数目,对话的内容就会变得不那么准确。
tag:当地部署Deepseek,离线部署Deepseek。
下一篇文章,我们将会介绍怎样将Siri接入到我们的Deepseek服务器,免费token不限量。


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

愛在花開的季節

金牌会员
这个人很懒什么都没写!
快速回复 返回顶部 返回列表