LLM评测框架Ragas:SQL指标(解决了Ollama推理框架不支持的问题)
SQL类的度量指标是指运行SQL后的结果和预期之间的一个度量值。
datacompy score
datacompy score 使用DataCompy(一个比较pandas的数据格式的python类,所以需要按照datacompy:pip install datacompy),默认是按照rows比较,也可以设置按照columns比较,这个事通过mode参数配置。默认的采用f1也可以通过metric配置recall。
from ragas.dataset_schema import SingleTurnSample
from ragas.metrics import DataCompyScoreimport asyncio
async def main():
# from ragas.dataset_schema import SingleTurnSampledata1 = """acct_id,dollar_amt,name,float_fld,date_fld10000001234,123.45,George Maharis,14530.1555,2017-01-0110000001235,0.45,Michael Bluth,1,2017-01-0110000001236,1345,George Bluth,,2017-01-0110000001237,123456,Bob Loblaw,345.12,2017-01-0110000001238,1.05,Lucille Bluth,,2017-01-0110000001238,1.05,Loose Seal B