简介: DB-GPT 是一个实验性的开源应用,它基于FastChat,并利用vicuna-13b作为基础模型, 模型与数据全部本地化摆设, 绝对保障数据的隐私安全。 同时此GPT项目可以直接本地摆设连接到私有数据库, 进行私有数据处置惩罚, 现在已支持SQL天生、SQL诊断、数据库知识问答、数据处置惩罚等一系列的工作。
配景
项目地点: https://github.com/csunny/DB-GPT
DB-GPT从5月6号正式发布第一个可运行版本,到现在刚刚经过一周的时间,引起了各人的广泛关注。 但是由于DB-GPT是用的Vicuna-13B的模型作为Base Model,所以很多同学在摆设过程中遇到了较大的困难。DB-GPT在消耗级GPU即可完成摆设, 具体摆设的硬件分析如下:
GPU型号显存大小性能TRX409024G可以流畅的进行对话推理,无卡顿TRX309024G可以流畅进行对话推理,有卡顿感,但好与V100V10016G可以进行对话推理,有明显卡顿 在本文中,为了方便各人摆设测试,所以我们基于阿里云写了个完备的摆设教程,感爱好的同学可以基于此教程进行摆设实践,由于项目重要是实验性质,不建议生产情况直接利用。
情况预备
创建阿里云GPU实例
- 阿里云账号预备, 如果没有阿里云账号,首先必要在阿里云注册一个账号,并充值100元。充值可以在右上角账号中心进行操作。
- 充值好之后,我们就可以去购买GPU服务器了。找到GPU云服务器产品,点击购买,进入到选配页面,在如下页面,选择按量付费,然后选择图中所示的型号即可。如果对推理性能有要求,可以选择更高的设置。
选择型号之后,还必要选择系统、GPU驱动、SSD存储、以及实例释放战略等选项。这里必要注意,云盘的规格不要选择太小,建议不小于200G, 同时去掉随实例释放的选项,如许后续我们可以只释放实例,模型数据可以保留。如果此实例,你想恒久利用,建议做个快照备份。固然,思量到价格缘故起因,也可以挂一块NFS来存储数据。
选择完以上步调之后,点击下一步进入到网络与安全组设置界面,这里注意的是网络带宽我们可以选择大一点。这里我选择的是25M的网络。注意我们要选择按流量付费, 同时必要去买个流量包。
选择好之后,进入下一步, 系统设置界面,注意要选择一下自界说密码,必要设置一下root密码,如果这一步未设置,等机器启动之后设置也可。
这一步结束之后,分组设置无需特殊设置,直接进入下一步即可。 末了在确认订单界面,我们必要重点设置一下主动释放时间,防止后续忘记释放造成持续的费用。选择好之后,直接点击创建实例,开实例阶段就结束了。
登岸实例安装情况依赖
进入到管理控制台,实例界面,点击远程连接,然后直接登岸,在登岸界面输出对应的密码,即可完成登岸。进入到管理控制台之后,首先会安装对应的GPU显卡驱动。显卡驱动安装完成之后,我们必要安装以下必要的依赖包
- yum -y install git
- yum install git-lfs
- yum install g++
- yum install docker
复制代码 如上,我们的情况预备就完成了,接下来我们开始摆设服务。
摆设服务
摆设服务有以下几步。1. 模型预备 2. 依赖服务启动 3. DB-GPT服务启动
模型预备
在预备模型阶段,我们首先要下载模型。 这里我们依赖两个基础模型,分别是vicuna-13B以及sentence-transformer
- git clone https://github.com/csunny/DB-GPT.git
- git clone https://huggingface.co/Tribbiani/vicuna-13b
- https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2
复制代码 模型下载好之后,模型文件必要防止到代码路径下。
DB-GPT/models/
依赖服务启动
我们的项目由于要直接连接数据库,这里我们以MySQL作为样例。前面我们已经安装好了Docker,这里我们只必要通过docker下令启动MySQL即可
docker run --name=mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=aa12345678 -dit mysql:latest
向量数据库我们默认利用的是Chroma内存数据库,所以无需特殊安装,如果有必要连接其他的同学,可以按照我们的教程进行安装设置。
DB-GPT服务启动
首先安装情况与依赖
python 情况我们要起是大于3.9,这里我们用3.10来进行安装。
首先我们必要安装conda情况,我们利用miniconda3
- wget https://repo.anaconda.com/miniconda/Miniconda3-py310_23.3.1-0-Linux-x86_64.sh
- sh Miniconda3-py310_23.3.1-0-Linux-x86_64.sh
复制代码 如上,我们就安装conda情况完成了,安装完成之后,必要见效一下情况变量。
- conda create -n dbgpt_env python=3.10
- conda activate dbgpt_env
复制代码 如图所示,我们即进入到了我们的情况,接下来安装pip依赖运行就可以啦。
- pip install -r requirements.txt
复制代码 安装完成之后我们就可以运行了,但是运行过程中我们发现报了以下错误。 我们通过添加.pth的方式指定一下情况路径。
- echo "/root/workspace/DB-GPT" > /root/miniconda3/env/dbgpt_env/lib/python3.10/site-packages/dbgpt.pth
复制代码 运行下令启动服务端:
- python pilot/server/vicuna_server.py
复制代码 如下图所示,我们的服务就启动乐成了,接下来我们来启动客户端。
运行下令启动客户端
- python pilot/server/webserver.py
复制代码 运行过程中,我们发现报了以下错误。 表明我们的mysql容器未创建乐成,必要重新创建一下。
必要注意,mysql容器创建的密码是否与代码设置中的密码一致。 如果不一致可以重新创建或者修改代码。如图所示,我们的客户端服务就启动起来了。
设置安全战略
固然我们服务已经启动了,但是我们照旧无法通过公网访问,我们必要设置安全战略,将端口开放出来。
在阿里云管理控制台,我们找到安全组 -> 管理规则。
通过手动添加开启如下三个规则。
好了,到这里我们就可以访问我们的服务了。如果你必要在本地启动代码,远程连接到阿里云的服务器,只必要在阿里云启动一个后端服务,前端服务本地启动即可。 必要注意要修改本地服务的VICUNA_MODEL_SERVER IP为你的阿里云IP。 然后在本地只启动前端服务即可:
python pilot/server/webserver.py
演示
通过服务器公网ip,我们可以在浏览器打开我们的服务。剩下的就是利用了,我们简朴做个小演示吧。
原生回答
基于知识库
小结
本教程中介绍了怎样在阿里云上通过申请GPU来摆设DB-GPT服务
怎样系统的去学习大模型LLM ?
大模型期间,火爆出圈的LLM大模型让程序员们开始重新评估自己的本事。 “AI会代替那些行业?”“谁的饭碗又将不保了?”等题目热议不断。
事实上,抢你饭碗的不是AI,而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后,很多中小企业也陆续出场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,平凡程序员,还有应对的机会吗?
与其焦虑……
不如成为「把握AI工具的技能人」,究竟AI期间,谁先实验,谁就能占得先机!
但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习本钱和门槛很高。
针对所有自学遇到困难的同学们,我帮各人系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型册本、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, |