当前位置: 首页 > news >正文

长宁怎么做网站优化好计算机女生就业方向

长宁怎么做网站优化好,计算机女生就业方向,免费网站建设大全,wordpress创建页面学习这些的最终目的 1、量化两个概率分布的差异 2、推导交叉熵损失 一、KL散度 KL散度就是用来量化两个概论分布的差异,如何量化? 计算真实概论分布P信息量 和 估计概论分布为Q,但实际概率分布为P时信息量的差值 那么设,概率分…

学习这些的最终目的

1、量化两个概率分布的差异

2、推导交叉熵损失

一、KL散度

KL散度就是用来量化两个概论分布的差异,如何量化?

计算真实概论分布P信息量估计概论分布为Q,但实际概率分布为P信息量的差值

那么设,概率分布为P时的信息量为H(P),估计概论分布为Q,但实际概率分布为q时的信息量为H(P,Q)

那么两个概率分布差异的量化为:D(P,Q) = H(P) - H(P,Q),注意D(P,Q) 不等于 D(Q,P)

Q估计P的信息量可以用交叉熵(H(P,Q))来计算,P本身信息量可以用熵(H(P))来计算

二、交叉熵

交叉熵是用于,使用“估计分布”下,对真实分布的期望信息量估计

如何估计?

设,每个事件,真实发生概率为pi = x,对应的估计事件的信息量为Ii

那么交叉熵H(P,Q) = \sumpi * Ii,就是用每个事件真实的概率 乘上 估计概率分布对应事件的信息量代表估计概率分布q对真实概率分布q的期望信息量估计

三、熵

熵表示一个概率分布下的期望信息量

设,每个事件,真实发生概率为pi = x,对应的事件的信息量为Ii

H(P) = \sumpi * Ii

到此,我们可以发现,如果估计概率分布和真实概率分布一致,那么D(P,Q)应该为0

四、信息量

现在只差如何定义信息量了

在信息论中,某个事件的信息量(self-information)定义为

I(x)=log(\frac{1}{p(x)}),p为事件x发生的概率,即事件发生的概率越低,它带来的信息量越大

下图是I(X)的函数图像,x属于[0,1],I属于[0,+00]

举个例子来说

小明不中彩票,带来的信息量很小,因为这是很正常的一件事

但如果小明中了彩票,就带来了较大的信息量,因为这是小概率事件

五、交叉熵损失

对于模型的预测,以分类为例,模型会给出每个类别的概率,可以认为是概率分布Q,真实分布为P,那么P和Q差异的量化就是D(P,Q),对D(P,Q)求梯度,就得到了交叉熵损失

六、结语

表述可能不准确,大家意会

http://www.dtcms.com/a/507911.html

相关文章:

  • 负荷聚类及其在MATLAB中的实现
  • 环境搭建 | [入门级]VSCode(Cursor|Trae|Qoder)搭建Java(Springboot3)企业开发环境全流程
  • 怎么获取小红书用户笔记作品列表?item_search_shop_videoAPI接口指南
  • 盐城建站韩漫网站建设
  • 我的企业网站怎么seo网站 模板
  • 【Linux】深入理解进程(一)
  • 基于单片机的车辆超载报警系统设计及人数检测设计
  • 防止网站被克隆dedecms 网站地图插件
  • 做网站与网店运营263企业邮箱pop3设置
  • 解释 Python 的 GIL(全局解释器锁)机制及其对多线程的影响。
  • Conda_bashrc 初始化机制学习笔记
  • 用dw制作购物网站首页WordPress空间换到万网
  • Spring 4.0新特性全面解析
  • 世界之窗附近做网站公司门户网站的营销特点
  • neo4j密码忘记如何解决
  • React + TypeScript 企业级编码规范指南
  • React Router 路由模式详解:HashRouter vs BrowserRouter
  • 福田做网站怎么样下载网站模板
  • 每日一个C语言知识:C 结构体
  • 淘宝网中国站电脑版登录辽宁省建设工程招投标
  • sql数据库语法
  • 使用jmeter进行压力测试
  • 长期网站外包wordpress主题php详解
  • 面试八股 快速讲解 集合类中的 fail-fast和fail-safe
  • MySQL K8S日志分析与数据还原
  • RK3588 RKLLM大语言模型AI开发环境搭建及板端部署
  • Android Studio配置指南:Gradle 安装
  • php能做手机网站吗网站开发 例子
  • 【完整源码+数据集+部署教程】【零售和消费品&存货】快递包裹条形码与二维码识别系统源码&数据集全套:改进yolo11-RFCBAMConv
  • 泉州seo建站wordpress 生成 应用