DIY你的私家编码助手：本地摆设强大的代码天生工具Code Llama
前言无论你是编程界的资深玩家，大概只是个初出茅庐的新手小白，详细都希望拥有一个超级智能的AI助手，在你必要的时候为你提供最牛的代码片断。今天，我们就将带你走进怎样在本地搭建Text generation Web UI，并安装Code Llama大语言模子的世界。更令人兴奋的是，我们还将使用Cpolar内网穿透工具实现长途访问，让你无论身处何地都能享受到无缝编程的乐趣。
想象一下这样的场景：你正在家里的沙发上享受周末时光，突然灵感一现，必要快速实现一个算法大概优化某个函数。这时候，只需轻轻一点，你的私家代码助手就能为你提供完美的解决方案。这不但让专业开发者的工作效率飙升，还能帮助新手更快地把握编程技巧，让学习过程变得轻松又舒畅。
https://i-blog.csdnimg.cn/direct/89e87dfa411a49ffa509fad5178afb2b.png
1. 本地摆设Text generation Web UI
本篇文章测试环境：Windows10专业版
起首我们必要在本地摆设Text generation Web UI，是一个基于Gradio的LLM Web UI开源项目，可以使用其快速搭建摆设各种大模子环境。
github地址：https://github.com/facebookresearch/codellama
点击download,一键下载文件到本地
https://img-blog.csdnimg.cn/img_convert/d5d514df911d62ef0d49bc8b7e506d29.png
解压文件夹，然后打开文件，双击运行start_windows举行自动下载
https://img-blog.csdnimg.cn/img_convert/272446458a8a0d5f93b3934c8b2a0d67.png
https://img-blog.csdnimg.cn/img_convert/2dc592d4a59ab91d411597b99e22473c.png
https://img-blog.csdnimg.cn/img_convert/a52d9d2270d7cab1869681d2b1ebf25c.png
安装过程中会有一次确认，根据自己的显卡和体系选择就可以了，这里我选择A（英伟达显卡）
https://img-blog.csdnimg.cn/img_convert/9ddf187f0919e51aa9dbb1fcf10a15f7.png
安装完成后，可以看到本地地址是：http://127.0.0.1:7680，Ctrl+c终止它。
2. 安装CodeLlama大模子
接下来要下载CodeLlama模子，在Hugging face上直接下载转换好的模子
Hugging face格式模子 https://huggingface.co/codellama
选择Base Model
https://img-blog.csdnimg.cn/img_convert/298e88ec1f64a1f98894c275d7d33b1b.png
然后依次下载下方红框中的文件
https://i-blog.csdnimg.cn/direct/cc225240b97b40e998e3bbc34efb34f0.png
https://img-blog.csdnimg.cn/img_convert/2340027d9e62a9868548b0b8824e7291.png
下载好后，然后选中这九个文件剪切，回到 text-generation-webui 目录中，进入 models 目录中，新建要给文件夹，名为 codellama-7b
https://img-blog.csdnimg.cn/img_convert/f921d129ef7f44a8fdaee7463b1c29b2.png
把刚才9个文件，都粘贴到这个新文件夹中
https://img-blog.csdnimg.cn/img_convert/0b7c0fc3ce61c914b4003c3e226f56d9.png
然后回到text-generation-webui 目录中，双击打开 start_windows
https://img-blog.csdnimg.cn/img_convert/89b8bd19dc30f4cdd88296734f7b8996.png
然后打开一个浏览器，输入localhost:7680，可以看到进入到了Text generation Web UI中
https://img-blog.csdnimg.cn/img_convert/89e36b345d2fd3912486fd9c17e226b1.png
点击上方model切换到模子配置页面，在模子下拉列表这里选择 codellama-7b
https://img-blog.csdnimg.cn/img_convert/f37ce549ea42b8c0f97a28fee9b880fc.png
然后点击Load加载模子，接下来可以测试提出标题
https://i-blog.csdnimg.cn/direct/57ef4a54caa343cf8752fcb65db557a5.png
然后把右侧上方的代码使用vscode测试一下，是否能得出效果
https://img-blog.csdnimg.cn/img_convert/11f0d18c8f6d67cadfbc0f1a02efbf1d.png
可以看到，显示出了精确效果，目前我们在本机摆设了 Text generation Web UI，并且还添加了code llama大模子，假如想团队协作多人使用，大概在异地其他装备使用的话就必要联合Cpolar内网穿透实现公网访问，免去了复杂得本地摆设过程，只必要一个公网地址直接就可以进入到Text generation Web UI中。
接下来教各人怎样安装Cpolar并且将 Text generation Web UI实现公网访问。
3. 实现公网长途使用Code Llama
下面是安装cpolar步骤：
Cpolar官网地址: https://www.cpolar.com
点击进入cpolar官网，点击免费使用注册一个账号，并下载最新版本的Cpolar
https://i-blog.csdnimg.cn/direct/e5fd8e3c2b374432b6262ebc853d329d.png
登录成功后，点击下载Cpolar到本地并安装（一路默认安装即可）本教程选择下载Windows版本。
https://img-blog.csdnimg.cn/img_convert/2235793af154026406eca75c1b628467.png
Cpolar安装成功后，在浏览器上访问http://localhost:9200，使用cpolar账号登录,登录后即可看到Cpolar web 配置界面,结下来在web 管理界面配置即可。
https://i-blog.csdnimg.cn/direct/c33aa92d03a645db8c5c51f11e7c01a3.png
接下来配置一下 text-generation-webui 的公网地址，
登录后，点击左侧仪表盘的隧道管理——创建隧道，
起首创建一个 LobeChat 的公网http地址隧道
[*] 隧道名称：可自界说命名，注意不要与已有的隧道名称重复
[*] 协议：选择http
[*] 本地地址：7860 (本地访问的地址)
[*] 域名类型：免费随机域名
[*] 地区：选择China Top
点击创建
https://img-blog.csdnimg.cn/img_convert/a8af48104836019987b6c43f6ad60ca0.png
隧道创建成功后，点击左侧的状态——在线隧道列表,查看所天生的公网地址，有两种访问方式，一种是http 和https
https://img-blog.csdnimg.cn/img_convert/094c6b534694512f921d6bfeaaf11d64.png
我们接下来使用http公网地址访问，可以看到我们访问到了 Text generation Web UI 界面，这样一个公网地址访问就创建好了。
https://i-blog.csdnimg.cn/direct/bc0becfbb029442ea24246c1942d97b6.png
小结
假如我们必要长期举行团队协作的话，由于刚才创建的是随机的地址，24小时会发生变化。另外它的网址是由随机字符天生，不轻易影象。假如想把域名变成固定的二级子域名，并且不想每次都重新创建隧道来访问Text generation Web UI，我们可以选择创建一个固定的http地址来解决这个标题。
4. 固定Text generation Web UI公网地址
由于以上使用cpolar所创建的隧道使用的是随机公网地址，24小时内会随机变化，不利于长期长途访问。因此我们可以为其配置二级子域名，该地址为固定地址，不会随机变化。
登录cpolar官网，点击左侧的预留，选择保留二级子域名，地区选择china vip top，然后设置一个二级子域名名称，填写备注信息，点击保留。
https://img-blog.csdnimg.cn/img_convert/182d3f9f6a8f2369b2b7bf8df5638e70.png
保留成功后复制保留的二级子域名地址：
https://img-blog.csdnimg.cn/img_convert/98530bb07ad4f95cc8447dfa96c42b82.png
登录cpolar web UI管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道，点击右侧的编辑。
https://img-blog.csdnimg.cn/img_convert/3ad454a02acd5bfd36b1040269846528.png
修改隧道信息，将保留成功的二级子域名配置到隧道中
[*] 域名类型：选择二级子域名
[*] Sub Domain：填写保留成功的二级子域名
[*] 地区: China VIP
点击更新
https://i-blog.csdnimg.cn/direct/0a3426883fcf43af95ee6c1c79d8c17a.png
更新完成后，打开在线隧道列表，此时可以看到随机的公网地址已经发生变化，地址名称也变成了保留和固定的二级子域名名称。
https://img-blog.csdnimg.cn/img_convert/f4eb288416f1bc6f2f502e7df3e74b4f.png
末了，我们使用固定的公网地址访问Text generation Web UI界面可以看到访问成功，一个永久不会变化的长途访问方式即设置好了。
https://img-blog.csdnimg.cn/img_convert/e349ca17413dd95c96b9aa16f9d08216.png
现在，你已经成功在本地搭建了Text generation Web UI，并且配置好了Code Llama大语言模子。最紧张的是，通过Cpolar内网穿透工具，无论你在办公室、家里还是咖啡馆里，都能随时享受到高效的代码天生体验。从此，编程不再是枯燥的任务，而是充满乐趣的创造过程！有了这个私家代码神助攻，你不但可以轻松应对各种复杂的开发任务，还能在朋友们眼前炫耀一番，成为他们眼中的技术大牛！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]