当前位置: 首页 > news >正文

什么是协同归因和贡献归因

大量LLM文章提到归因,有各种各样的归因,那什么时协同归因,什么时贡献归因,这些与经常看到的归因有什么关联,这里参考论文内容尝试解释。

1 协同归因

协同归因主要检查引用数据和训练数据来源,验证大模型输出是否正确,并与外部知识进行比较。例如,生成一些相关的引文或参考文献来追溯大模型输出来源,并验证它的准确性;从外部知识库中检索相关知识,然后与大模型的输出进行对比和验证。

具体协同归因场景如下:

1)引文生成验证

生成与大模型输出相关的引文或参考文献。在知识库或文献数据库中搜索相关的文献,并根据大模型输出的内容生成相应的引文,以追溯大模型输出的来源,并验证其准确性。例如,BM25和GTR检索到问题相关引文,通过引文验证大模型的输出。

2)知识检索验证

从外部的知识库检索与大模型输出相关的知识,可以利用知识图谱、在线百科全书或专业数据库等资源,通过关键词匹配或语义相似度计算来检索相关的知识。然后,将检索到的知识与大模型的输出进行对比和验证,以确定其准确性和一致性。

3)事实验证

可以通过对外部数据源或可信的事实数据库进行查询来实现,通常利用自然语言处理技术和数据匹配算法,将大模型的输出与事实进行比对,从而判断其准确性和可信度。

2 贡献归因

贡献归因主要用来确定训练数据对大模型输出的影响。例如,对训练数据进行微小变动,观察大模型输出的变化,从而计算出每个训练样本对大模型输出的影响程度。生成一些模拟数据,并比较它们与真实数据作为输入时大模型输出的差异,间接推断训练数据的贡献程度。

具体贡献归因场景如下:

1)影响函数

对训练数据进行微小的变动,观察大模型输出的变化来实现。开发者设计一些影响函数来度量变动对大模型输出的影响程度,确定哪些训练数据对大模型输出具有重要影响,从而更好地理解模型的行为。

2)数据模拟器验证

生成一些与真实数据相似但有差异的数据,观察大模型输出的差异,从而推断出真实数据对大模型输出的贡献程度。数据模拟器验证利用生成对抗网络(GAN)或其他生成模型来生成模拟数据。

3)数据模型验证

构建一个数据模型,用于表示大模型对训练数据的学习和预测过程。数据模型可以是一个统计模型或神经网络模型。通过分析数据模型,开发者们可以确定哪些训练数据对大模型输出具有重要性,并对模型的训练和优化过程进行解释。

我们经常接触到的LLM归因如"失败归因"、“金融事件归因”,更多是协同归因,贡献归因主要应用在LLM模型训练和可解释性验证。

reference

---

Unifying corroborative and contributive attributions in large language models. 

https://arxiv.org/pdf/2311.12233

归因问答-有效归因实践

https://blog.csdn.net/liliang199/article/details/149043382

Deepseek-R1归因分析示例

https://blog.csdn.net/liliang199/article/details/148897528

“自动化失败归因”测试集-Who&When

https://blog.csdn.net/liliang199/article/details/148845376

http://www.dtcms.com/a/265686.html

相关文章:

  • WhoDB:一款基于Web的免费AI数据库管理工具
  • 刷卡登入数据获取
  • 【ArcGISPro】基于Pro的Python环境进行Django简单开发Web
  • 两个PHY芯片之间,是如何连接进行通信的?
  • 并行科技MaaS平台支持文心4.5系列开源模型调用
  • MySQL主从延迟深度解析:现象、原因与实战解决方案
  • KMP(Kotlin Multiplatform)改造(Android/iOS)老项目
  • 舵轮时钟-STM32-28路PWM--ESP8266-NTP时间
  • Babylon.js 材质克隆与纹理共享:你可能遇到的问题及解决方案
  • 从UI设计到数字孪生实战演练:构建智慧城市的智慧停车系统
  • 大势智慧亮相第十八届中国智慧城市大会
  • 暑期出游,解锁“智慧”新玩法!
  • 浏览器原生控件上传PDF导致hash值不同
  • 使用HAProxy搭建Web群集:原理、步骤与实战总结
  • AlpineLinux安装RabbitMQ及其管理界面
  • 攻防世界0-MISC-隐藏的信息
  • VS Code 的 Copilot Chat 扩展程序
  • AI学习笔记三十:基于yolov8的web显示
  • 在 VSCode 中高效配置自定义注释模板 (无需插件)
  • 在小程序中实现实时聊天:WebSocket最佳实践
  • Tarjan 算法的两种用法
  • 支持向量机(SVM)分类
  • JavaScript的现代进阶:从ES6到ES15
  • 机器学习-03(机器学习任务攻略)
  • npm 命令入门指南(前端小白版)
  • 使用numpy的快速傅里叶变换的一些问题
  • 记忆翻牌记忆力小游戏流量主微信小程序开源
  • 万能公式基分析重构补丁复分析和欧拉公式原理推导
  • 国外开源集成平台(业务编排)camel及Mule介绍
  • 为什么是直接在**原型(prototype)上**添加函数