DB-GPT 0.7.4 版本更新｜开源蚂蚁集团Text2SQL数据集：Falcon、支持GLM-4.5大模型

V0.7.4 版本主要新增、增强了以下核心特性

🍀 DB-GPT开源蚂蚁集团Text2SQL数据集：Falcon（https://github.com/eosphoros-ai/Falcon）

🍀 DB-GPT支持基于Falcon Text2SQL评测集的LLM评测功能

🍀 支持GLM-4.5大模型

🍀 支持BurnCloud API大模型平台集成

✨数据集评测新特性

面向Text2SQL任务，我们提供了数据集评测能力，用于评测不同大模型、Agent在Text2SQL任务上的表现，评测语法正确性、语义准确性、执行有效性等维度内容，输出可执行率、正确率等指标，并提供了评测报告。

介绍

https://github.com/eosphoros-ai/Falcon

为了客观、公正地评估不同模型在Text2SQL任务的表现，我们推出了评测模块和评测数据集，该模块支持对DB-GPT框架下的所有模型进行全面评测，并为用户提供评测报告。

评测模块使用的Benchmark数据集：Falcon 是蚂蚁集团开源的一个不断发展的高质量Text2SQL数据集。
该数据集旨在对复杂、跨域分析场景下的模型进行压力测试，特别关注以下方面：

• SQL 计算难题——多表连接、嵌套 CTE、窗口函数、排名、类型转换、正则表达式过滤器……
• 语言困难——中文模糊时间表达、口语化商业术语、省略号、多意图疑问句……

评测集包含了28个数据集、90张表，截止当前发已正式发布500道不同难度的中文题目
其中，easy难度题目：151道，medium难度题目：130道，hard难度题目：219道

核心特性

• ✅ 多维度评测：包含语法正确性、语义准确性、执行有效性三重验证体系
• 🧠 动态难度分级：来自 Kaggle 数据集的 500 道中文问题（不同难度），包含大量需要多步推理、复杂嵌套查询和高级 SQL 特性
• ✍️ 细致的 Schema 标注: 提供了丰富的 Schema 信息，包括数据类型和自然语言别名、表间关系、采样数据，为模型理解数据库结构提供了有力支持
• 🌐 真实场景建模：更多有关模糊/含糊语言表达、更多从蚂蚁集团真实生产场景中收集的问题（准备中）

评测指标

指标名称	计算公式	说明
可执行率	语法正确样本数 / 总样本数	模型生成的SQL语句语法正确、且可以在数据库中正确执行的比例
正确率	语义正确样本数 / 总样本数	大模型生成的SQL语句语法正确、语义正确的比例

评测模块核心能力如下：

• Text2SQL 评测API：提供API创建评测任务
• 评测集执行框架：根据评测集的问题执行Text2SQL任务
• 评测集结果对比框架：基于标准评测集和LLM SQL结果执行结果对比并汇总评测结果
• 评测数据集安装及数据库映射：安装评测数据集并将数据映射到数据库中提供LLM SQL查询服务

使用方式

环境准备

• 第一步：升级到V0.7.4版本，并升级元数据库

对于 SQLite 的升级，默认会自动升级表结构。对于 MySQL 的升级，需要手动执行 DDL ，其中 assets/schema/dbgpt.sql文件是当前版本完整的 DDL 文件，具体版本变更的 DDL 可以查看 assets/schema/upgrade下面的变更 DDL，例如您是从 v0.7.1升级到v0.7.4，可以执行下列的 DDL：

mysql -h127.0.0.1 -uroot -p{your_password} < assets/schema/upgrade/v0_7_4/upgrade_to_v0.7.4.sql

• 第二步：启动DB-GPT服务，等待评测集自动加载完成，看到这行日志表示评测集加载完成（大约 1~3 分钟左右）

• 第三步：在DB-GPT平台录入大模型

创建评测任务

• Step1: 点击"创建评测"按钮，创建评测任务
• Step2: 输入任务名称、选择评测模型列表等信息
• Step3: 提交评测任务

• Step4: 等待评测任务执行完成(评测任务耗时较长)

查看评测报告

• 等待评测状态为"已完成"，点击"查看详情"按钮，查看评测报告
• 评测报告展示信息：
  • 总的模型数量、题目数量、正确题目数量、错误题目数量、失败题目数量
  • 每轮、每个模型的执行结果：执行题目数、正确题目数、错误题目数、失败题目数、可执行率、正确率
  • 可执行率、正确率的可视化柱状图

正确题目：表示该问题模型回答正确；
错误题目：模型生成的SQL语法正确，但是语义不正确；
失败题目：一般是模型生成的SQL语法、语义都不正确

下载评测结果

• 点击"下载评测结果"按钮，下载评测的Excel详细报告

• 下载的Excel报告包含了评测任务LLM执行详情、评测对比结果等信息（通过不同Sheet展示）

数据集详情

• 点击"查看数据集详情"按钮，查看评测集详情
  • 展示Falcon数据集的数据表、字段、样例数据等

详细的使用文档见：

• 中文： 蚂蚁取数评测集使用说明文档(Datasets Benchmark)
• 英文：Ant Group Data Retrieval Benchmark Dataset Guide

🐞 Bug 修复

• 修复AWEL datasource、rag算子参数不生效问题（#2862）
• 处理知识库文档自定义chunk分隔符\n不生效（#2870）
• 修复知识库上传URL模式文档（#2874）
• 修复 DorisDB 使用 MySQL 协议连接的问题 (#2875)
• 修复使用TuGraph时Milvus的数据清理问题（#2858）
• 优化图数据库的配置错误信息 (#2906)
• 修复Excel文档中合并单元格解析问题 (#2907)
• 优化PGVectorStore从环境变量读取链接配置 (#2887)
• 修复ChatExcel应用Excel文件中包含time类型的解析（#2915）

🛠️其他

• 新增泰米尔语版本README文件 (#2914)
• 新增印地语版本README文件 (#2909)
• 修复通义千问配置文件 (#2884)
• 新增DB-GPT DeepWiki文档 (#2892)

升级指南：

1. 元数据库升级

对于 SQLite 的升级，默认会自动升级表结构。对于 MySQL 的升级，需要手动执行 DDL ，其中 assets/schema/dbgpt.sql文件是当前版本完整的 DDL 文件，具体版本变更的 DDL 可以查看 assets/schema/upgrade下面的变更 DDL，例如您是从 v0.7.1升级到v0.7.4，可以执行下列的 DDL：

mysql -h127.0.0.1 -uroot -p{your_password} < assets/schema/upgrade/v0_7_4/upgrade_to_v0.7.4.sql

1. 依赖升级

对于源码安装，建议通过 uv sync 更新依赖。

✨官方文档地址

英文

http://docs.dbgpt.site/docs/overview

中文

https://www.yuque.com/eosphoros/dbgpt-docs/bex30nsv60ru0fmx

✨致谢

🎉新贡献者

• @yaoyifan-yyf
• @iterminatorheart
• @liuhill
• @zuiyue-com
• @wxiao1002

🔥🔥感谢所有贡献者使这次发布成为可能！

@Aries-ckt, @Mishu03, @chenliang15405, @fangyinc, @kobzevvv, @stevenlx96, @wxiao1002, @liuhill, @yaoyifan-yyf, @iterminatorheart and @zuiyue-com

✨附录

• 快速开始
• Docker 快速部署