ToB企服应用市场:ToB评测及商务社交产业平台

标题: 代码天生神器！本地快速搭建Code Llama大模子与远程使用 [打印本页]
作者: 嚴華    时间: 2025-1-5 03:58
标题: 代码天生神器！本地快速搭建Code Llama大模子与远程使用
前言

大家好！本日我们要聊的是如何在家里轻松搭建Code Llama大语言模子，并通过内网穿透工具Cpolar实现公网远程访问。Code Llama是一个强盛的文本天生工具，不仅可以帮助开辟者提高效率，还能降低初学者的学习门槛。让我们一步步来，看看如何实现这一切。
Code Llama是一种基于大型语言模子（LLM）的代码天生工具。它可以根据简单的文本提示天生高质量的代码片段，让开辟变得更快速、更高效。无论是资深开辟者照旧编程新手，都能从中受益。

1. 本地摆设Text generation Web UI

本篇文章测试情况：Windows10专业版
首先，我们需要在本地搭建一个Text Generation Web UI界面。这个界面不仅操纵简便，还提供了丰富的功能，让你可以通过浏览器直接与Code Llama互动。下面是具体的步调：
github地址：https://github.com/facebookresearch/codellama
点击download,一键下载文件到本地

解压文件夹，然后打开文件，双击运行start_windows进行主动下载



安装过程中会有一次确认，根据自己的显卡和系统选择就可以了，这里我选择A（英伟达显卡）

安装完成后，可以看到本地地址是：http://127.0.0.1:7680，Ctrl+c终止它。
2. 安装CodeLlama大模子

接下来要下载CodeLlama模子，在Hugging face上直接下载转换好的模子
Hugging face格式模子 https://huggingface.co/codellama
选择Base Model

然后依次下载下方红框中的文件


下载好后，然后选中这九个文件剪切，回到 text-generation-webui 目次中，进入 models 目次中，新建要给文件夹，名为 codellama-7b

把刚才9个文件，都粘贴到这个新文件夹中

然后回到text-generation-webui 目次中，双击打开 start_windows

然后打开一个浏览器，输入localhost:7680，可以看到进入到了Text generation Web UI中

点击上方model切换到模子配置页面，在模子下拉列表这里选择 codellama-7b

然后点击Load加载模子，接下来可以测试提出题目

然后把右侧上方的代码使用vscode测试一下，是否能得出结果

可以看到，表现出了正确结果，目前我们在本机摆设了 Text generation Web UI，并且还添加了code llama大模子，如果想团队协作多人使用，或者在异地其他装备使用的话就需要联合Cpolar内网穿透实现公网访问，免去了复杂得本地摆设过程，只需要一个公网地址直接就可以进入到Text generation Web UI中。
接下来教大家如何安装Cpolar并且将 Text generation Web UI实现公网访问。
3. 实现公网远程使用Code Llama

下面是安装cpolar步调：
   Cpolar官网地址: https://www.cpolar.com
  点击进入cpolar官网，点击免费使用注册一个账号，并下载最新版本的Cpolar

登录乐成后，点击下载Cpolar到本地并安装（一路默认安装即可）本教程选择下载Windows版本。

Cpolar安装乐成后，在浏览器上访问http://localhost:9200，使用cpolar账号登录,登录后即可看到Cpolar web 配置界面,结下来在web 管理界面配置即可。

接下来配置一下 text-generation-webui 的公网地址，
登录后，点击左侧仪表盘的隧道管理——创建隧道，
首先创建一个 LobeChat 的公网http地址隧道

点击创建

隧道创建乐成后，点击左侧的状态——在线隧道列表,检察所天生的公网地址，有两种访问方式，一种是http 和https

我们接下来使用http公网地址访问，可以看到我们访问到了 Text generation Web UI 界面，如许一个公网地址访问就创建好了。

小结
如果我们需要长期进行团队协作的话，由于刚才创建的是随机的地址，24小时会发生变化。另外它的网址是由随机字符天生，不轻易记忆。如果想把域名变成固定的二级子域名，并且不想每次都重新创建隧道来访问Text generation Web UI，我们可以选择创建一个固定的http地址来解决这个题目。
4. 固定Text generation Web UI公网地址

由于以上使用cpolar所创建的隧道使用的是随机公网地址，24小时内会随机变化，不利于长期远程访问。因此我们可以为其配置二级子域名，该地址为固定地址，不会随机变化。
登录cpolar官网，点击左侧的预留，选择保留二级子域名，地区选择china vip top，然后设置一个二级子域名名称，填写备注信息，点击保留。

保留乐成后复制保留的二级子域名地址：

登录cpolar web UI管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道，点击右侧的编辑。

修改隧道信息，将保留乐成的二级子域名配置到隧道中

点击更新

更新完成后，打开在线隧道列表，此时可以看到随机的公网地址已经发生变化，地址名称也变成了保留和固定的二级子域名名称。

末了，我们使用固定的公网地址访问Text generation Web UI界面可以看到访问乐成，一个永世不会变化的远程访问方式即设置好了。

通过以上步调，你不仅可以在本地轻松搭建Code Llama大模子，还能使用Cpolar实现远程访问。如许一来，无论你在哪儿，都能随时享受Code Llama带来的便捷与高效。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4