NL2SQL之DB-GPT-Hub<详解篇>:text2sql任务的微调框架和基准对比
随着生成式人工智能(Artificial Intelligence Generated Content,简写为 AIGC)时代的到来,使用大规模预训练语言模型(LLM)来进行 text2sql 任务的 sql 生成也越来越常见。基于 LLM 的 text2SQL 方法通常分为两种:
- 基于 prompt 的 In context Learning(ICL)方法;
- 基于 text2sql 任务构建数据集并且微调开源的 LLM 以适配 text2sql 任务
基于 prompt 的方法相对来说成本较低,方法和效果都有相对成熟的结果;微调 LLM 的方法受限于消耗资源比较大,计算成本过高,没有得到很好地探索。B-GPT-Hub是一款很好的项目,这是一个基于 LLM 微调的 text2SQL 的训练推理框架和 benchmark,主要侧重于大规模微调 LLM 的方式。
- 主要贡献:
- 通过微调中型到大型 open source 的 LLM 并对 textSQL 任务进行标准化和全面的评估;
- 模块化且易于扩展的代码库,支持主流 LLM 和实验场景,优先考虑微调方法,并扩展到