Text2SQL技能 ，即将自然语言查询转换为结构化查询语言（SQL）的技能，正在迅速成为数据库查询的一个关键工具。它使得非技能用户可以或许通过自然语言与数据库举行交互，极大地进步了数据库操作的便捷性和效率。
接下来分两部分：主流数据集、主流实战方法（SQLCoder + DB-GPT-Hub），一起来深入相识大模型实战：Text2SQL。
一、主流数据集
什么是Text2SQL数据集？ Text2SQL数据集是指一类 专门用于训练Text2SQL （文本到SQL）模型的数据集合。
Text2SQL数据集通常包含大量的自然语言查询（如问题或指令）和对应的SQL查询语句。这些对构成了模型学习的基础，使模型可以或许学会将自然语言查询转换为SQL查询。
Text2SQL数据集有哪些？ Spider、WikiSQL和CHASE等主流Text2SQL数据集提供自然语言查询与SQL查询对应数据 ，训练和评估模型将自然语言转换为SQL查询的本领。
- Spider：这是一个跨域的复杂Text2SQL数据集，包含了大量的自然语言问句和对应的SQL查询语句。它旨在测试模型在复杂的、未见过的SQL查询上的性能以及其在新范畴的泛化本领。
- WikiSQL：这是一个大型的语义解析数据集，由大量的自然语句表述和对应的SQL标注构成。它重要用于训练模型学习如何将简单的自然语言查询转换为SQL查询。
- CHASE：一个跨范畴多轮交互Text2SQL中文数据集，包含多个多轮问题组成的列表，以及大量的**<query, SQL>二元组**，涉及不同范畴的数据库。
二、主流实战方法
基于大语言模型的Text2SQL主流实战方法是什么？重要包罗两种：（1）基于Text2SQL模型结合业务举行微调；（2）基于开箱即用的Text2SQL Agent结合业务整合到应用。
一、基于SQLCoder模型，结合业务举行微调
第一步：微调前准备（下载模型和数据集）
- 下载模型：llama3-sqlcoder-8b 是一种适用于 PostgreSQL、 Snowflake （基于云的数据堆栈平台） 的文本到 SQL 生成的强大的语言模型，可与最强大的通用前沿模型相媲美。
- 下载数据集： WikiSQL 是一个基于维基百科的语义解析数据集，重要用于自然语言查询到SQL查询的转换使命。它包含了超过 8万个（问题，SQL）对 ，即80,645条自然语言问句及相应的SQL语句，以及 24,241张表 。
第二步：模型微调（网络业务数据、选择微调策略、训练模型、评估模型）
- 微调数据集： 根据业务需求和数据库架构，网络相干的自然语言查询和对应的SQL语句作为训练数据。
- 选择微调策略： 根据业务需求和数据集的特点，选择符合的微调策略，如基于特定数据库模式的微调、针对复杂查询的微调等。
- 训练模型： 利用微调数据集对SQLCoder模型举行训练，调解模型的参数以优化其在特定业务场景下的性能。
- 评估模型： 在训练过程中，定期评估模型的性能，如准确率、召回率等，以确保微调的有效性。
第三步：模型部署与推理
- Enter special instructions（输入特殊阐明）： 明白特殊阐明的内容，这可能涉及对某项使命的具体要求、留意事项、优先级调解或其他任何有助于使命执行或结果理解的额外信息。 例如：异常处理
- Enter the database schema（输入数据库模式）： 数据库模式（也称为数据库结构或数据库架构）定义了 数据库中表、列、关系和其他数据库对象的组织方式 。
二、基于开箱即用的DB-GPT-Hub，结合业务整合到应用
DB-GPT是一个开源的AI原生数据应用开发框架(AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents)。
目标是构建大模型范畴的基础设施，通过开发多模型管理(SMMF)、 Text2SQL 结果优化、 RAG框架 以及优化、 Multi-Agents框架协作 、 AWEL(智能体工作流编排) 等多种技能本领，让围绕数据库构建大模型应用更简单，更方便。
**
**
DB-GPT-Hub是一个利用LLMs实现Text-to-SQL解析的实验项目**，重要包含数据集网络、数据预处理、模型选择与构建和微调权重等步骤，通过这一系列的处理可以在进步Text-to-SQL本领的同时降低模型训练成本，让更多的开发者参与到Text-to-SQL的准确度提升工作当中，终极实现基于数据库的自动问答本领，让用户可以通过自然语言形貌完成复杂数据库的查询操作等工作。**
现在DB-GPT-Hub已经基于多个大模型打通从数据处理、模型SFT训练、猜测输出和评估的整个流程， 代码在项目中均 可以直接复用 。 – 开箱即用，架构师带你玩转AI
零基础如何学习AI大模型
领取方式在文末
为什么要学习大模型？
学习大模型课程的重要性在于它可以或许极大地促进个人在人工智能范畴的专业发展。大模型技能，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用体系所需的基本原理和技能，从而提升自己在数据处理、分析和决策制定方面的本领。此外，大模型技能在多个行业中的应用日益增长，掌握这一技能将有助于进步就业竞争力，并为未来的创新创业提供坚固的基础。
大模型范例应用场景
①AI+教诲：智能讲授助手和自动评分体系使个性化教诲成为可能。通过AI分析学生的学习数据，提供量身定制的学习方案，进步学习结果。
②AI+医疗：智能诊断体系和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像，辅助医生举行早期诊断，同时根据患者数据制定个性化治疗方案。
③AI+金融：智能投顾和风险管理体系帮助投资者做出更明智的决策，并实时监控金融市场，识别潜伏风险。
④AI+制造：智能制造和自动化工厂进步了生产效率和质量。通过AI技能，工厂可以实现装备猜测性维护，减少停机时间。
…
这些案例表明，学习大模型课程不仅可以或许提升个人技能，还能为企业带来现实效益，推动行业创新发展。
学习资料领取
如果你对大模型感兴趣，可以看看我整合并且整理成了一份AI大模型资料包，必要的小搭档文末免费领取哦，无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给各人发
部分资料展示
一、 AI大模型学习路线图
整个学习分为7个阶段
二、AI大模型实战案例
涵盖AI大模型的理论研究、技能实现、行业应用等多个方面。无论您是科研人员、工程师，照旧对AI大模型感兴趣的爱好者，皆可用。
三、视频和书籍PDF合集
从入门到进阶这里都有，跟着老师学习事半功倍。
四、LLM面试题
五、AI产品经理面试题
|
