前言
大家好!本日我们要聊的是如何在家里轻松搭建Code Llama大语言模子,并通过内网穿透工具Cpolar实现公网远程访问。Code Llama是一个强盛的文本天生工具,不仅可以帮助开辟者提高效率,还能降低初学者的学习门槛。让我们一步步来,看看如何实现这一切。
Code Llama是一种基于大型语言模子(LLM)的代码天生工具。它可以根据简单的文本提示天生高质量的代码片段,让开辟变得更快速、更高效。无论是资深开辟者照旧编程新手,都能从中受益。
1. 本地摆设Text generation Web UI
本篇文章测试情况:Windows10专业版
首先,我们需要在本地搭建一个Text Generation Web UI界面。这个界面不仅操纵简便,还提供了丰富的功能,让你可以通过浏览器直接与Code Llama互动。下面是具体的步调:
github地址:https://github.com/facebookresearch/codellama
点击download,一键下载文件到本地
解压文件夹,然后打开文件,双击运行start_windows进行主动下载
安装过程中会有一次确认,根据自己的显卡和系统选择就可以了,这里我选择A(英伟达显卡)
安装完成后,可以看到本地地址是:http://127.0.0.1:7680,Ctrl+c终止它。
2. 安装CodeLlama大模子
接下来要下载CodeLlama模子,在Hugging face上直接下载转换好的模子
Hugging face格式模子 https://huggingface.co/codellama
选择Base Model
然后依次下载下方红框中的文件
下载好后,然后选中这九个文件剪切,回到 text-generation-webui 目次中,进入 models 目次中,新建要给文件夹,名为 codellama-7b
把刚才9个文件,都粘贴到这个新文件夹中
然后回到text-generation-webui 目次中,双击打开 start_windows
然后打开一个浏览器,输入localhost:7680,可以看到进入到了Text generation Web UI中
点击上方model切换到模子配置页面,在模子下拉列表这里选择 codellama-7b
然后点击Load加载模子,接下来可以测试提出题目
然后把右侧上方的代码使用vscode测试一下,是否能得出结果
可以看到,表现出了正确结果,目前我们在本机摆设了 Text generation Web UI,并且还添加了code llama大模子,如果想团队协作多人使用,或者在异地其他装备使用的话就需要联合Cpolar内网穿透实现公网访问,免去了复杂得本地摆设过程,只需要一个公网地址直接就可以进入到Text generation Web UI中。
接下来教大家如何安装Cpolar并且将 Text generation Web UI实现公网访问。
3. 实现公网远程使用Code Llama
下面是安装cpolar步调:
Cpolar官网地址: https://www.cpolar.com
点击进入cpolar官网,点击免费使用注册一个账号,并下载最新版本的Cpolar
登录乐成后,点击下载Cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。
Cpolar安装乐成后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到Cpolar web 配置界面,结下来在web 管理界面配置即可。
接下来配置一下 text-generation-webui 的公网地址,
登录后,点击左侧仪表盘的隧道管理——创建隧道,
首先创建一个 LobeChat 的公网http地址隧道
- 隧道名称:可自定义命名,注意不要与已有的隧道名称重复
- 协议:选择http
- 本地地址:7860 (本地访问的地址)
- 域名范例:免费随机域名
- 地区:选择China Top
点击创建
隧道创建乐成后,点击左侧的状态——在线隧道列表,检察所天生的公网地址,有两种访问方式,一种是http 和https
我们接下来使用http公网地址访问,可以看到我们访问到了 Text generation Web UI 界面,如许一个公网地址访问就创建好了。
小结
如果我们需要长期进行团队协作的话,由于刚才创建的是随机的地址,24小时会发生变化。另外它的网址是由随机字符天生,不轻易记忆。如果想把域名变成固定的二级子域名,并且不想每次都重新创建隧道来访问Text generation Web UI,我们可以选择创建一个固定的http地址来解决这个题目。
4. 固定Text generation Web UI公网地址
由于以上使用cpolar所创建的隧道使用的是随机公网地址,24小时内会随机变化,不利于长期远程访问。因此我们可以为其配置二级子域名,该地址为固定地址,不会随机变化。
登录cpolar官网,点击左侧的预留,选择保留二级子域名,地区选择china vip top,然后设置一个二级子域名名称,填写备注信息,点击保留。
保留乐成后复制保留的二级子域名地址:
登录cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道,点击右侧的编辑。
修改隧道信息,将保留乐成的二级子域名配置到隧道中
- 域名范例:选择二级子域名
- Sub Domain:填写保留乐成的二级子域名
- 地区: China VIP
点击更新
更新完成后,打开在线隧道列表,此时可以看到随机的公网地址已经发生变化,地址名称也变成了保留和固定的二级子域名名称。
末了,我们使用固定的公网地址访问Text generation Web UI界面可以看到访问乐成,一个永世不会变化的远程访问方式即设置好了。
通过以上步调,你不仅可以在本地轻松搭建Code Llama大模子,还能使用Cpolar实现远程访问。如许一来,无论你在哪儿,都能随时享受Code Llama带来的便捷与高效。
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |