Datawhale AI夏令营 大模型技术task3 稍稍提分
之前只是把baseline跑了一遍(不过教师模式换成了Qwen3-32B),但是跑出来还没8B的baseline的结果好,这次提分主要是以下几个方面:
(1)完善单字段查询问题 ,增加了几种问题的问法
(2)多字段过滤 → 新增:如“在{候车厅}候车,且发车时间晚于{时间}的车有哪些?”
(3)时间推理 → 新增:“{车次}在{站名}的停留时间是多少?”
(4)缺失数据检测 → 新增:“检票口为X,且开点时间缺失的车次?”
(5)单位换算 → 新增:“若延误X分钟,新的开点时间是?”
略微优化了一下prompt,并且构造了一些错误问答对,让模型在无法回答时可以判断问题本身是错误的,不回答问题(输出无法回答或其他语句)
把32B模型教师换回了8B(32B生成答案有些慢)
最终得分:65分
还有很多地方可以优化:
下一步:
换用更好的教师模型
现在的缺失值补充直接使用无数据,有些随意,后面需要用其他方式补充
还没有使用到text2sql和agent调用工具等方法来获得更多的问答对,以及更精确的问题,现在的问答对完全使用大模型生成,其中一些涉及到计算的地方会有错误,跨行的问答以及类似RAG上下文也没有考虑到