当前位置： 首页 > news >正文

KL散度（Kullback-Leibler Divergence）：概率分布差异的量化利器

news 来源：原创 2025/5/11 15:38:46

目录

    • 1. 什么是KL散度？
      • 关键特点：
    • 2. KL散度的数学公式
      • 离散分布的KL散度公式：
      • 连续分布的KL散度公式：
    • 3. KL散度的计算示例
      • 示例1：离散分布
      • 示例2：连续分布（高斯分布）
    • 4. KL散度的核心性质
      • 1. 非对称性
      • 2. 非负性
      • 3. 与熵的关系
    • 5. KL散度与相关性的关系
      • 1. KL散度 ≠ 相关性
      • 2. 间接关联的可能
      • 3. 实际案例
    • 6. KL散度的应用场景
      • 1. 机器学习
      • 2. 数据压缩
      • 3. 信息检索
      • 4. 强化学习
    • 7. 总结
      • 总结

1. 什么是KL散度？

KL散度（Kullback-Leibler Divergence），又称相对熵（Relative Entropy），是信息论中用于衡量两个概率分布之间差异的核心工具。它描述了用分布 Q Q Q来近似分布 P

相关文章：

  • MCP认证全解析：从零到微软认证专家
  • 复刻低成本机械臂 SO-ARM100 上位机控制调试
  • 强化学习之基于无模型的算法之演员-评论家算法
  • 基于供热企业业务梳理的智能化赋能方案
  • 2024ccpc【上海+陕西】
  • mongodb 学习笔记
  • SQL 中的中括号 [ ]、双引号 “ “、反引号 ` `：SQL Server、Oracle、MySQL三大数据库标识符 定界符 详解
  • c语法高阶—（联合体，枚举，位域，编译器，宏定义，条件编译，条件编译，头文件）
  • zst-2001 历年真题 知识产权
  • Unable to ping server at localhost:1099解决
  • 第十二节：图像处理基础-图像平滑处理 (均值滤波、高斯滤波、中值滤波)
  • HTTP请求与缓存、页面渲染全流程
  • React学习路线图-Gemini版
  • Linux基本操作——网络操作文件下载
  • Selenium的driver.get_url 和 手动输入网址, 并点击的操作，有什么不同？
  • ZYNQ笔记（十八）：VDMA VGA彩条显示
  • 打造个人知识库，wsl+ollama部署deepseek与vscode集成
  • 偏导数和梯度
  • IoTDB端边云同步技术的五大常见场景及简便使用方式
  • Filecoin矿工资金管理指南：使用lotus-shed actor withdraw工具
  • 为何发胖？如何减肥？一个医学体重管理中心的探索启示
  • 体验中国传统文化、采购非遗文创，波兰游客走进上海市群艺馆
  • 瑞士联邦主席凯勒-祖特尔、联邦副主席帕姆兰会见何立峰
  • 上海“电子支付费率成本为0”背后：金融服务不仅“快”和“省”，更有“稳”和“准”
  • 外交部：习近平主席同普京总统达成许多新的重要共识
  • 中俄元首今年首次面对面会谈，达成哪些新的重要共识？