什么是协同归因和贡献归因
大量LLM文章提到归因,有各种各样的归因,那什么时协同归因,什么时贡献归因,这些与经常看到的归因有什么关联,这里参考论文内容尝试解释。
1 协同归因
协同归因主要检查引用数据和训练数据来源,验证大模型输出是否正确,并与外部知识进行比较。例如,生成一些相关的引文或参考文献来追溯大模型输出来源,并验证它的准确性;从外部知识库中检索相关知识,然后与大模型的输出进行对比和验证。
具体协同归因场景如下:
1)引文生成验证
生成与大模型输出相关的引文或参考文献。在知识库或文献数据库中搜索相关的文献,并根据大模型输出的内容生成相应的引文,以追溯大模型输出的来源,并验证其准确性。例如,BM25和GTR检索到问题相关引文,通过引文验证大模型的输出。
2)知识检索验证
从外部的知识库检索与大模型输出相关的知识,可以利用知识图谱、在线百科全书或专业数据库等资源,通过关键词匹配或语义相似度计算来检索相关的知识。然后,将检索到的知识与大模型的输出进行对比和验证,以确定其准确性和一致性。
3)事实验证
可以通过对外部数据源或可信的事实数据库进行查询来实现,通常利用自然语言处理技术和数据匹配算法,将大模型的输出与事实进行比对,从而判断其准确性和可信度。
2 贡献归因
贡献归因主要用来确定训练数据对大模型输出的影响。例如,对训练数据进行微小变动,观察大模型输出的变化,从而计算出每个训练样本对大模型输出的影响程度。生成一些模拟数据,并比较它们与真实数据作为输入时大模型输出的差异,间接推断训练数据的贡献程度。
具体贡献归因场景如下:
1)影响函数
对训练数据进行微小的变动,观察大模型输出的变化来实现。开发者设计一些影响函数来度量变动对大模型输出的影响程度,确定哪些训练数据对大模型输出具有重要影响,从而更好地理解模型的行为。
2)数据模拟器验证
生成一些与真实数据相似但有差异的数据,观察大模型输出的差异,从而推断出真实数据对大模型输出的贡献程度。数据模拟器验证利用生成对抗网络(GAN)或其他生成模型来生成模拟数据。
3)数据模型验证
构建一个数据模型,用于表示大模型对训练数据的学习和预测过程。数据模型可以是一个统计模型或神经网络模型。通过分析数据模型,开发者们可以确定哪些训练数据对大模型输出具有重要性,并对模型的训练和优化过程进行解释。
我们经常接触到的LLM归因如"失败归因"、“金融事件归因”,更多是协同归因,贡献归因主要应用在LLM模型训练和可解释性验证。
reference
---
Unifying corroborative and contributive attributions in large language models.
https://arxiv.org/pdf/2311.12233
归因问答-有效归因实践
https://blog.csdn.net/liliang199/article/details/149043382
Deepseek-R1归因分析示例
https://blog.csdn.net/liliang199/article/details/148897528
“自动化失败归因”测试集-Who&When
https://blog.csdn.net/liliang199/article/details/148845376