Point-wise vs Pair-wise vs List-wise 简述
当然,以下是一个Point-wise 格式的数据样例,通常用于训练“LLM作为裁判”(LLM-as-a-Judge)模型,在这个设置中,每条数据表示一个候选项与一个问题的对应关系,并附有一个独立的评分(score)或标签(label),用于衡量该候选项的质量。
🧾 Point-wise 数据格式样例(JSON 格式)
{"question": "如何提高工作效率?","candidate": "制定每天的工作计划,并优先完成最重要的任务。","score": 4.5
}
或(带标签):
{"question": "如何提高工作效率?","candidate": "每天喝咖啡就能提高效率。","label": "not helpful"
}
🧠 Point-wise vs Pair-wise vs List-wise 简述:
类型 | 描述 | 示例 | 用途 |
---|---|---|---|
Point-wise | 每个候选项单独打分 | Q + A → Score | 分类/回归 |
Pair-wise | 候选项两两比较优劣 | Q + A1 vs A2 → A1 更好 | 排序学习 |
List-wise | 一组候选项整体排序 | Q + [A1, A2, A3] → 排序 | 复杂排序、重排序任务 |
如果你希望我帮你生成一批 point-wise 数据用于评估任务、训练模型,或者转换已有数据集为该格式,也可以告诉我。