当前位置: 首页 > news >正文

LLM评测框架Ragas:SQL指标(解决了Ollama推理框架不支持的问题)

SQL类的度量指标是指运行SQL后的结果和预期之间的一个度量值。

datacompy score

datacompy score 使用DataCompy(一个比较pandas的数据格式的python类,所以需要按照datacompy:pip install datacompy),默认是按照rows比较,也可以设置按照columns比较,这个事通过mode参数配置。默认的采用f1也可以通过metric配置recall。

from ragas.dataset_schema import SingleTurnSample
from ragas.metrics import DataCompyScoreimport asyncio
async def main():
# from ragas.dataset_schema import SingleTurnSampledata1 = """acct_id,dollar_amt,name,float_fld,date_fld10000001234,123.45,George Maharis,14530.1555,2017-01-0110000001235,0.45,Michael Bluth,1,2017-01-0110000001236,1345,George Bluth,,2017-01-0110000001237,123456,Bob Loblaw,345.12,2017-01-0110000001238,1.05,Lucille Bluth,,2017-01-0110000001238,1.05,Loose Seal B
http://www.dtcms.com/a/291970.html

相关文章:

  • oracle查询数据结构滤涉及的sql语句
  • 程序是如何生成的-以c语言为例
  • 行内元素垂直边距为何失效?
  • Vite:下一代前端构建工具的革命
  • 金仓数据库风云
  • 基于JAVA实现基于“obj--html--pdf” 的PDF格式文本生成
  • C语言第二章分支与循环(下)——猜数字游戏
  • 【深度解析】从AWS re_Invent 2025看云原生技术发展趋势
  • AWS RDS 排查性能问题
  • RedisJSON 指令精讲JSON.TOGGLE 键翻转布尔值
  • 聊聊 iframe:网页中的“窗口”是怎么回事?
  • Vue3 学习教程,从入门到精通,Vue3 循环语句(`v-for`)语法知识点与案例详解(13)
  • rabbitmq 03
  • 《3D printed deformable sensors》论文解读
  • 【初识数据结构】CS61B 中的堆以及堆排序算法
  • 矩阵SVD分解计算
  • 今日Github热门仓库推荐 第八期
  • 3ds Max 云端渲染插件 - 完整 Python 解决方案
  • 锟斤拷与烫烫烫:中文编程界的独特印记
  • Go语言切片(Slice)与数组(Array)深度解析:避坑指南与最佳实践
  • Go语言实战案例-遍历目录下所有文件
  • Go 的第一类对象与闭包
  • 基于单片机智能衣柜/智能衣橱设计
  • Go 并发(协程,通道,锁,协程控制)
  • 【Unity开发】坦克大战项目实现总结
  • Golang避免主协程退出方案
  • GoLang教程007:打印空心金字塔
  • PHP与Web页面交互:从基础表单到AJAX实战
  • 八大作业票(二)受限空间安全作业证
  • 智算中心光纤线缆如何实现自动化计算?