DB-GPT安装部署使用初体验

DB-GPT是什么？引自官网：
   DB-GPT是一个开源的AI原生数据应用开辟框架(AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents)。
目的是构建大模型领域的基础设施，通过开辟多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力，让围绕数据库构建大模型应用更简单，更方便。
数据3.0 期间，基于模型、数据库，企业/开辟者可以用更少的代码搭建自己的专属应用。
  总而言之：基于大模型的数据集大成者的应用。
官网文档地址
功能

• 私域问答&数据处置惩罚&RAG(Retrieval-Augmented Generation)
  支持内置、多文件格式上传、插件自抓取等方式自定义构建知识库，对海量结构化，非结构化数据做同一向量存储与检索
  
• 多数据源&GBI(Generative Business Intelligence)
  支持自然语言与Excel、数据库、数仓等多种数据源交互，并支持分析陈诉。
  
• 多模型管理
  海量模型支持，包罗开源、API署理等几十种大语言模型。如LLaMA/LLaMA2、Baichuan、ChatGLM、文心、通义、智谱、星火等。
  
• 自动化微调
  围绕大语言模型、Text2SQL数据集、LoRA/QLoRA/Pturning等微调方法构建的自动化微调轻量框架, 让TextSQL微调像流水线一样方便。
  
• Data-Driven Multi-Agents&lugins
  支持自定义插件执行使命，原生支持Auto-GPT插件模型，Agents协议接纳Agent Protocol标准
  
• 隐私安全
  通过私有化大模型、署理脱敏等多种技术保障数据的隐私安全
  

其他介绍详见官方文档

安装部署

参考源码部署
注：如本地部署大模型，可离线下载后放置DB-GPT/models目录下。
思量各人资源有限，此处介绍署理模式安装。
署理模式即各大大模型厂商提供的API接口，有免费的、限免的、付费的，各人酌情选择。
免费/限免的有：

• 阿里系： https://dashscope.console.aliyun.com/billing
  
• 科大讯飞：星火大模型，官网领取额度
  结论：通义千问qwen-turbo模型效果稍好点。
  有条件的可以上chat-gpt和智谱AI，效果更好。
  

参数设置

以通义千问为例。

• 拷贝.env.template为.env
  
• 设置
  

1. LLM_MODEL=tongyi_proxyllm
2. # PROXYLLM_BACKEND = qwen-1.8b-chat （可选模型， 免费）
3. PROXYLLM_BACKEND = qwen-turbo
4. EMBEDDING_MODEL=text2vec
5. #通义千问
6. PROXY_SERVER_URL=https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation
7. # Aliyun tongyi
8. TONGYI_PROXY_API_KEY=={自己申请的key}

复制代码

启动

1. python ./dbgpt/app/dbgpt_server.py

复制代码

启动乐成：

1. INFO:     Uvicorn running on http://0.0.0.0:5000 (Press CTRL+C to quit)
2. 2024-03-25 19:51:06 bogon dbgpt.model.adapter.proxy_adapter[1457] INFO Load model from params:
4. =========================== ProxyModelParameters ===========================
6. model_name: tongyi_proxyllm
7. model_path: tongyi_proxyllm
8. proxy_server_url: https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation
9. proxy_api_key: ********
10. proxy_api_base: None
11. proxy_api_app_id: None
12. proxy_api_secret: None
13. proxy_api_type: None
14. proxy_api_version: None
15. http_proxy: None
16. proxyllm_backend: qwen-turbo
17. model_type: proxy
18. device: cpu
19. prompt_template: None
20. max_context_size: 4096
21. llm_client_class: None
23. ======================================================================

复制代码

功能演练

地址：http://127.0.0.1:5000/

数据库设置

支持各大主流传统数据库、大数据库、KV数据库等。
功能清单

支持数据对话、数据库对话、Excel对话、知识库对话、报表分析、署理对话等。
数据对话

效果还行，单表查询不错。
数据库对话

效果一般，无法进行数据库连接操纵。
Excel对话

上传Excel后，会进行初步的总结。

整体还行。
知识库对话

略。
通例操纵。
报表分析

无法到达预期效果，应该和模型有关。
官方的一段话：数据对话对模型能力的要求相对较高，ChatGPT/GPT-4有较高的乐成率。其他开源模型可以尝试Vicuna-13B。
其他功能

• 模型管理
  
• 应用开辟
  
• 插件开辟
  
• 智能体编排语言(AWEL) 这个看上去很6的样子
  

持续跟进。。。


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。