当前位置: 首页 > news >正文

原创|查询大数据级数据表的AI实现思路(Excel2SQL,Text2SQL)

背景

遇到一个用户需求:
查询大数据级数据表(如产品表),将查询结果返回,想通过LLM进行精准输出。

一般软件做法为找数据工程师做提数SQL,或通过前台页面筛选条件+查询表单实现相对灵活的查询。

这个需求他们通过截图表格+输入问题的形式问Deepseek等LLM,发现准确度和稳定性都不行,

  • 其一产品ABC命名有相似且产品行数多,噪音大,导致稳定性不足;
  • 其次有一些统计问题回答不对,比如开发售卖的产品有几只,了解LLM原理的也知道数学题超过LLM能力边界。

Boss问我想法时,对于噪音和数学题,我明确知道要借助Workflow可能有解决方案,加上之前接触过Text2SQL,
我的第一反应是以SQL作为对其模态

  • 输入方向(广义的知识构建阶段),将EXCEL输出SQL数据表和数据,并生成足够的释义作为回答的背景;
  • 输出方向(广义的知识检索阶段),初始节点为用户问题Text2SQL,然后执行SQL节点,将问题,SQL和SQL查询结果给到二次LLM节点,输出最终回答。
    通过Dify和FastGPT都可以实现两段式输入到输出

结果
是验证了50条excel含5个字段的产品表,问了30个问题,迭代3版Prompt达到28/30的惊人的95%的正确率。

输入Excel:
在这里插入图片描述
用户问题:
在这里插入图片描述

实操过程

  1. 基本思路的流程图,关键是目标如何达成,串联起来闭环。
    在这里插入图片描述

  2. 上手开撸
    AI workfow其实没什么难度,就是3个节点,LLM或MCP/Faction call进行数据库处理;
    主要还是Prompt,此处分享粗调最后一版prompt。

[构建]读取excel到输出SQL
http://www.dtcms.com/a/208445.html

相关文章:

  • NFS服务小实验
  • 电子电气架构 --- 下一代汽车电子电气架构中的连接性
  • Llamaindex Rag 报错
  • 利用Qt绘图随机生成带多种干扰信息的数字图片
  • 编译原理 期末速成
  • JMeter 教程:监控性能指标 - 第三方插件安装(PerfMon)
  • Jmeter(三) - 测试计划(Test Plan)的元件
  • OpenSSL详解
  • 【学习笔记】机器学习(Machine Learning) | 第七章|神经网络(4)
  • Web前端开发:JavaScript的使用
  • Claude 4 系列 Opus 4 与 Sonnet 4正式发布:Claude 4新特性都有哪些?
  • 树 Part 10
  • nginx 的反向代理 负载均衡 动静分离 重写
  • 利用条件编译实现RTT可控的调试输出
  • 精准核验,实时响应-身份证实名认证接口-身份证二要素核验
  • TCP为什么是三次握手,而不是二次?
  • Solana 数据实时访问的三大工具对比:哪种最适合你的应用?
  • PHP实现签名类
  • 外卖跑腿小程序评价系统框架搭建
  • 嵌入式鸿蒙openharmony应用开发环境搭建与工程创建实现
  • android studio第一次编译apk,用时6分钟
  • HarmonyOS NEXT 使用 relationalStore 实现数据库操作
  • 鸿蒙ArkTS-发请求第三方接口显示实时新闻列表页面
  • 一键生成专业流程图:Draw.io与AI结合的高效绘图指南
  • 蓝桥杯2025.5.23每日一题-儿童数
  • DAY 34 GPU训练及类的call方法
  • 如果教材这样讲---开关电源的拓扑结构
  • FTP Bounce Attack:原理、影响与防御
  • DL00912-基于自监督深度聚类的高光谱目标检测含数据集
  • 通过对音频信号提取梅尔频谱图并转换为对数梅尔频谱图得到的。它的形状主要由以下参数决定 转换成图片 64*64像素