DIY你的私家编码助手:本地摆设强大的代码天生工具Code Llama ...

打印 上一主题 下一主题

主题 903|帖子 903|积分 2709

前言

无论你是编程界的资深玩家,大概只是个初出茅庐的新手小白,详细都希望拥有一个超级智能的AI助手,在你必要的时候为你提供最牛的代码片断。今天,我们就将带你走进怎样在本地搭建Text generation Web UI,并安装Code Llama大语言模子的世界。更令人兴奋的是,我们还将使用Cpolar内网穿透工具实现长途访问,让你无论身处何地都能享受到无缝编程的乐趣。
想象一下这样的场景:你正在家里的沙发上享受周末时光,突然灵感一现,必要快速实现一个算法大概优化某个函数。这时候,只需轻轻一点,你的私家代码助手就能为你提供完美的解决方案。这不但让专业开发者的工作效率飙升,还能帮助新手更快地把握编程技巧,让学习过程变得轻松又舒畅。

1. 本地摆设Text generation Web UI

本篇文章测试环境:Windows10专业版
起首我们必要在本地摆设Text generation Web UI,是一个基于Gradio的LLM Web UI开源项目,可以使用其快速搭建摆设各种大模子环境。
github地址:https://github.com/facebookresearch/codellama
点击download,一键下载文件到本地

解压文件夹,然后打开文件,双击运行start_windows举行自动下载



安装过程中会有一次确认,根据自己的显卡和体系选择就可以了,这里我选择A(英伟达显卡)

安装完成后,可以看到本地地址是:http://127.0.0.1:7680,Ctrl+c终止它。
2. 安装CodeLlama大模子

接下来要下载CodeLlama模子,在Hugging face上直接下载转换好的模子
Hugging face格式模子 https://huggingface.co/codellama
选择Base Model

然后依次下载下方红框中的文件


下载好后,然后选中这九个文件剪切,回到 text-generation-webui 目录中,进入 models 目录中,新建要给文件夹,名为 codellama-7b

把刚才9个文件,都粘贴到这个新文件夹中

然后回到text-generation-webui 目录中,双击打开 start_windows

然后打开一个浏览器,输入localhost:7680,可以看到进入到了Text generation Web UI中

点击上方model切换到模子配置页面,在模子下拉列表这里选择 codellama-7b

然后点击Load加载模子,接下来可以测试提出标题

然后把右侧上方的代码使用vscode测试一下,是否能得出效果

可以看到,显示出了精确效果,目前我们在本机摆设了 Text generation Web UI,并且还添加了code llama大模子,假如想团队协作多人使用,大概在异地其他装备使用的话就必要联合Cpolar内网穿透实现公网访问,免去了复杂得本地摆设过程,只必要一个公网地址直接就可以进入到Text generation Web UI中。
接下来教各人怎样安装Cpolar并且将 Text generation Web UI实现公网访问。
3. 实现公网长途使用Code Llama

下面是安装cpolar步骤:
   Cpolar官网地址: https://www.cpolar.com
  点击进入cpolar官网,点击免费使用注册一个账号,并下载最新版本的Cpolar

登录成功后,点击下载Cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。

Cpolar安装成功后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到Cpolar web 配置界面,结下来在web 管理界面配置即可。

接下来配置一下 text-generation-webui 的公网地址,
登录后,点击左侧仪表盘的隧道管理——创建隧道,
起首创建一个 LobeChat 的公网http地址隧道


  • 隧道名称:可自界说命名,注意不要与已有的隧道名称重复
  • 协议:选择http
  • 本地地址:7860 (本地访问的地址)
  • 域名类型:免费随机域名
  • 地区:选择China Top
点击创建

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所天生的公网地址,有两种访问方式,一种是http 和https

我们接下来使用http公网地址访问,可以看到我们访问到了 Text generation Web UI 界面,这样一个公网地址访问就创建好了。

小结
假如我们必要长期举行团队协作的话,由于刚才创建的是随机的地址,24小时会发生变化。另外它的网址是由随机字符天生,不轻易影象。假如想把域名变成固定的二级子域名,并且不想每次都重新创建隧道来访问Text generation Web UI,我们可以选择创建一个固定的http地址来解决这个标题。
4. 固定Text generation Web UI公网地址

由于以上使用cpolar所创建的隧道使用的是随机公网地址,24小时内会随机变化,不利于长期长途访问。因此我们可以为其配置二级子域名,该地址为固定地址,不会随机变化。
登录cpolar官网,点击左侧的预留,选择保留二级子域名,地区选择china vip top,然后设置一个二级子域名名称,填写备注信息,点击保留。

保留成功后复制保留的二级子域名地址:

登录cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道,点击右侧的编辑。

修改隧道信息,将保留成功的二级子域名配置到隧道中


  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名
  • 地区: China VIP
点击更新

更新完成后,打开在线隧道列表,此时可以看到随机的公网地址已经发生变化,地址名称也变成了保留和固定的二级子域名名称。

末了,我们使用固定的公网地址访问Text generation Web UI界面可以看到访问成功,一个永久不会变化的长途访问方式即设置好了。

现在,你已经成功在本地搭建了Text generation Web UI,并且配置好了Code Llama大语言模子。最紧张的是,通过Cpolar内网穿透工具,无论你在办公室、家里还是咖啡馆里,都能随时享受到高效的代码天生体验。从此,编程不再是枯燥的任务,而是充满乐趣的创造过程!有了这个私家代码神助攻,你不但可以轻松应对各种复杂的开发任务,还能在朋友们眼前炫耀一番,成为他们眼中的技术大牛!

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

卖不甜枣

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表