当前位置: 首页 > news >正文

张 关于大语言模型(LLM)置信度研究的经典与前沿论文 :温度缩放;语义熵;自一致性;事实与反思;检索增强;黑盒引导;

关于大语言模型(LLM)置信度研究的经典与前沿论文 :温度缩放;语义熵;自一致性;事实与反思;检索增强;黑盒引导;

目录

    • 关于大语言模型(LLM)置信度研究的经典与前沿论文 :温度缩放;语义熵;自一致性;事实与反思;检索增强;黑盒引导;
      • 一、校准方法:让模型概率更贴近真实正确性
        • 1. **温度缩放(Temperature Scaling)**
        • 2. **多校准(Multicalibration)**
      • 二、不确定性估计:量化模型“不知道”的能力
        • 1. **语义熵(Semantic Entropy)**
        • 2. **图不确定性(Graph Uncertainty)**
      • 三、推理优化:通过过程增强置信度
        • 1. **自一致性(Self-Consistency)**
        • 2. **事实与反思(Fact-and-Reflection, FaR)**
      • 四、检索增强:引入外部知识校准
        • 1. **检索增强生成(RAG)与置信度对齐**
      • 五、黑盒引导:无需模型内部信息的置信度估计
        • 1. **引导置信度(SteerConf)**
      • 六、后验校准:基于反馈修正置信度
        • 1. **证据深度学习(EDL)与信息瓶颈**
      • 总结:置信度研究的三大趋势

一、校准方法:让模型概率更贴近真实正确性

1. 温度缩放(Temperature Scaling)
  • 论文:《On Calibration of Modern Neural Networks》(Guo et al., 2017)
    原理:LLM输出的概率分布常因模型过参数化而“过于尖锐”(高概率答案实际正确率低)。温度缩放通过调整Softmax函数的温度参数 T T T),软化概率分布,使概率值更符合实际正确性。公式为:
http://www.dtcms.com/a/287116.html

相关文章:

  • 软考 系统架构设计师系列知识点之杂项集萃(113)
  • LangGraph教程10:LangGraph ReAct应用
  • 基于Electron打包jar成Windows应用程序
  • 技术演进中的开发沉思-39 MFC系列:多重文件和多重视图
  • 安全事件响应分析--基础命令
  • 【52】MFC入门到精通——(CComboBox)下拉框选项顺序与初始化不一致,默认显示项也不一致
  • pytorch:tensorboard和transforms学习
  • HTML5中的自定义属性
  • Jenkins自动化部署.NET应用实战:Docker+私有仓库+SSH远程发布
  • mysql常用总结
  • EMC杂谈-001-基础知识
  • 【面试八股文】软件测试面试题汇总
  • [黑马头条]-项目整合对象存储服务MinIO
  • 百度网盘TV版1.21.0 |支持倍速播放,大屏云看片
  • CS231n-2017 Lecture2图像分类笔记
  • 工业企业与污染库匹配数据库(1998-2014年)
  • Letter Combination of a Phone Number
  • Redis原理之集群
  • windows内核研究(驱动开发之内核编程)
  • Qt控件实战详解:深入掌握输入输出与数据展示
  • Python MCP与Excel增强智能:构建下一代数据处理和自动化解决方案
  • SpringBoot 3.0 挥别 spring.factories,拥抱云原生新纪元
  • 人该怎样活着呢?55
  • 【RK3576】Android 14 驱动开发实战指南
  • uview-ui使用u-icon文字图标展示
  • 报错:升级gcc,centos
  • 数据库第五次作业
  • 云边端协同架构下的智能计算革命
  • 从代码学习深度强化学习 - SAC PyTorch版
  • 消息队列与信号量:System V 进程间通信的基础