返回目录
2025年羊城工匠杯nl2sql比赛介绍
一、基本情况
本次竞赛分为两个阶段，初赛为线上实操比赛，决赛为实操比赛与现场答辩。本文主要介绍实操部分，通过设计合适的方法，对给定的数据库与自然语言提问生成有效SQL。
初赛和决赛提前提供样例集，包括四个文件：
1. data.db: sqlite的数据库文件，包括初赛16张库表+决赛新增的4张库表
2. 表结构.xlsx: excel表格文件，政务系统相关的工单和话务日汇总表
3. questions.jsonl: json文件，包括ID和自然语言问题
4. samples.jsonl: json文件，除ID、自然语言问题外，还包括标准SQL结果
正式比赛阶段，data.db与样例集一致，另外还提供一个与questions.jsonl格式一致的test.jsonl文件
二、评分标准
从SQL语法有效性(SSV, SQL Syntax Validity)、SQL 执行准确率(EAS, Execution Accuracy Score)和Token 成本(TCE, Token-Cost Efficiency)等三方面对算法进行考核，按照一定权重组合计算分数，计算公式为：Score=SSV10%+EAS60%+TCS*30%
SQL语法有效性SSV考察生成SQL是否能够正常解析且无破坏性指令
SQL 执行准确率EAS考察生成SQL与实际业务的执行结果是否一致
Token成本考察调用对话模型（不含嵌入模型和重排序模型）token消耗成本
三、大模型接口
对话模型：qwen3-8b、qwen3-14b、qwen3-32b、qwen3-235b-a22b、deepseek-r1、deepseek-r1
重排序模型：Qwen/Qwen3-Reranker-8B 、 Qwen/Qwen3-Reranker-4B 、Qwen/Qwen3-Reranker-0.6B、Pro/BAAI/bge-reranker-v2-m3
嵌入模型：Qwen/Qwen3-Embedding-8B、Qwen/Qwen3-Embedding-4B、Qwen/Qwen3-Embedding-0.6B、BAAI/bge-large-zh-v1.5
四、官方推荐的软件环境
1. 操作系统ubuntu24.04
2. 开发语言python3.10
3. 智能体框架
langchain0.3.27
langchain-chroma0.2.5
langchain-community0.3.27
langchain-core0.3.74
langchain-openai0.3.29
4. 向量数据库chroma1.0.16
关系数据库sqlite3.50.2
5. 其它工具库
pandas2.3.1
openai-python1.99.9
【本文结束】
