媒介
在数字化时代，拥有本身的个人智能助手已经不再是科幻小说中的情节了！想象一下，在你的家庭网络中部署一个强大的大语言模型，随时随地与你互动、提供资助和娱乐——这听起来是不是超级酷？本日，我们就来聊聊如何在群晖NAS上本地搭建这样一个基于Llama 2的聊天机器人，而且通过内网穿透技能实现长途访问。
首先，让我们了解一下为什么这个项目如此吸引人。大多数大语言模型都是在线服务，依赖于云端盘算资源。这意味着每次与这些模型互动时，都需要毗连到互联网，不仅可能产生额外费用，还可能存在隐私和安全问题。而本地部署的大语言模型则完全不一样——你可以在本身的装备上运行它，享受更快的响应速率、更高的安全性以及更稳固的体验。
固然，要实现这一点并不简单。首先，你需要一台性能强劲的服务器或NAS来支持大语言模型的运算需求。荣幸的是，群晖NAS依附其强大的硬件设置和灵活的操纵系统，成为了很多技能爱好者的首选平台之一。接下来，我们将具体介绍如何在群晖NAS上部署Llama 2，并通过内网穿透工具cpolar实现长途访问。
1. 拉取相干的Docker镜像
运行Llama 2需要借助Ollama镜像,对语言模型进行交互需要用到Chatbot-Ollama前端界面,以是我们需要拉取这两个docker镜像,本例群晖版本由于无法直接在群晖控制面板docker界面搜索下载镜像,以是采用命令行方式进行镜像下载,首先开启群晖ssh毗连,然后利用工具通过ssh毗连上群晖,分别执行下面docker命令 拉取
*拉取Ollama镜像命令
- sudo docker pull ollama/ollama:latest
- sudo docker pull ghcr.io/ivanfioravanti/chatbot-ollama:main
2. 运行Ollama 镜像
选中镜像,点击运行进入设置界面,名称无需设置,默认即可,然后点击下一步
输入外部访问的端口,和容器内部端口同等,填写11434即可,然后点击下一步
然后点击完成即可运行ollama
运行后,打开容器界面,可以看到运行的服务,下面开始下载运行Llama 2模型,点击选中ollama容器,点击操纵
然后打开终端机,进入终端命令界面
然后选择左边新增一个bash命令界面
然后在bash命令界面,执行ollama run llama2命令,接着等候下载即可,最后出现success,表现下载运行Llama 2模型成功,下载完成后可以关闭掉窗口.这样ollama 容器启动,并运行Llama 2模型就成功了,下面运行chatbot-ollama镜像,设置前端交互界面
3. 运行Chatbot Ollama镜像
选中我们下载的镜像,点击运行,开始进行设置
名称可以默认,直接点击下一步
设置对外端口,本例设置3001,具体可以本身自界说,这个端口也是我们浏览器上web访问的端口
然后设置一个情况变量,该变量就是毗连我们上面运行Ollama框架服务的地址,我们设置本地地址:http://群晖局域网IP:11434即可,设置完成点击下一步,然后直接点击完成即可,chatbot Ollama镜像就运行成功了,接下来我们进行本地访问.
4. 本地访问
上面我们运行设置chatbot ollama 的对外端口是3001(具体以本身设置的为准),下面我们在浏览器访问群晖3001端口,既可看到我们的web交互 界面,同时,上面显示了利用的llama2模型,下面输入笔墨即可对话,这样一个本地部署的机器人就完成了,对话的响应速率取决于装备的设置,只管利用高设置的服务器运行部署哦,本地完成后,我们接下来设置长途也可以访问,下面安装cpolar工具,实现无公网IP也可以长途访问我们的聊天机器人界面!
5. 群晖安装Cpolar
点击下面Cpolar群晖套件下载地址,下载相应版本的群晖Cpolar套件
https://www.cpolar.com/synology-cpolar-suite,
打开群晖套件中央，点击右上角的手动安装按钮。
选择我们本地下载好的cpolar套件安装包,然后点击下一步
点击同意按钮,然后点击下一步
最后点击完成即可。
安装完成后,在外部浏览器,我们通过群晖的局域网ip地址加9200端口访问Cpolar的Web管理界面,然后输入Cpolar邮箱账号与密码进行登录，如无账号可去官网注册：
cpolar官网地址：https://www.cpolar.com/
6. 设置公网地址
点击左侧仪表盘的隧道管理——创建隧道，创建一个chatbot的公网地址隧道!
- 隧道名称：可自界说命名，注意不要与已有的隧道名称重复
- 协议：选择http
- 本地地址：3001 (本地访问的端口)
- 域名范例：免费选择随机域名
- 地区：选择China
点击创建
隧道创建成功后，点击左侧的状态——在线隧道列表,查看所天生的公网访问地址，有两种访问方式,一种是http 和https,下面我们利用天生的http地址访问
7. 公网访问
利用上面cpolar天生的http地址,在浏览器访问,同样可以看到聊天机器人主界面,公网地址访问成功,无需公网IP,无需云服务器,即可把我们本地聊天机器人发布到公网进行访问!
小结
为了更好地演示，我们在前述过程中利用了cpolar天生的隧道，其公网地址是随机天生的。这种随机地址的上风在于创建速率快，可以立刻利用。然而，它的缺点是网址由随机字符天生，不太轻易影象（例如：3ad5da5.r10.cpolar.top）。别的，这个地址在24小时内会发生随机厘革，更得当于临时利用。
我一样平常会利用固定二级子域名，缘故原由是我希望将网址发送给同事或客户时，它是一个固定、易记的公网地址（例如：chatbot.cpolar.cn），这样更显正式，便于流交协作。
8. 固定公网地址
由于以上利用Cpolar所创建的隧道利用的是随机公网地址，24小时内会随机厘革，倒霉于长期长途访问。因此我们可以为其设置二级子域名，该地址为固定地址，不会随机厘革。
登录cpolar官网，点击左侧的预留，选择保留二级子域名，设置一个二级子域名名称，点击保留,保留成功后复制保留的二级子域名名称
保留成功后复制保留成功的二级子域名的名称
返回登录Cpolar web UI管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要设置的隧道，点击右侧的编辑
修改隧道信息，将保留成功的二级子域名设置到隧道中
- 域名范例：选择二级子域名
- Sub Domain：填写保留成功的二级子域名
点击更新(注意,点击一次更新即可,不需要重复提交)
更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生厘革,地址名称也变成了固定的二级子域名的名称域名
最后,我们利用固定的公网http地址访问,可以看到同样访问成功,这样一个固定且永世不变的公网地址就设置好了!
经过一番努力，你现在已经成功地将一个功能强大且安全的个人聊天机器人部署到了本身的家庭网络中！无论是在家办公、学习照旧娱乐，这个智能助手都能为你提供极大的便利。更重要的是，由于数据完全存储在本地装备上，你可以放心利用而不用担心隐私泄漏的问题。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
