当前位置： 首页 > news >正文

【EM算法】算法及注解

news 2025/7/15 12:54:23

EM算法又称期望极大算法，是一种迭代算法，每次迭代由两步组成：E步，求期望（expectation）；M步，求极大（maximization）。

目录

算法背景

EM算法

算法背景

如果概率模型的变量都是观测变量，那么可以直接用极大似然估计法，或贝叶斯估计法估计模型参数。但是，当模型含有隐变量时，就需要考虑EM算法，EM算法是含有隐变量的概率模型参数的极大似然估计法。

EM算法

输入:观测变量数据Y，隐变量数据Z，联合分布P(Y,Z | \theta )，条件分布P( Z| Y,\theta )

输出：模型参数\theta

1.选择参数的初值$\theta^{(0)}$,开始迭代；

EM算法对初值敏感

2.E步：记$\theta^{(i)}$为第$i$ 次迭代参数$\theta$的估计值，在第$i+1$次迭代的E步，计算

Q(\theta,\theta^{(i)})=E_Z[\log P(Y,Z|\theta)|Y,\theta^{(i)}]
=\sum_{Z}\log P(Y,Z|\theta)P(Z|Y,\theta^{(i)})

$P(Z|Y,\theta^{(i)})$ 是在给定观测数据$Y$和当前的参数估计$\theta^{(i)}$下隐变量数据$Z$的条件概率分布

$Q(\theta,\theta^{(i)})$是完全数据的对数似然函数P(Y,Z | \theta )关于在给定观测数据$Y$和当前的参数估计$\theta^{(i)}$下隐变量数据$Z$的条件概率分布$P(Z|Y,\theta^{(i)})$的期望。

其中，$Q(\theta,\theta^{(i)})$第一个变元\theta是要极大化的参数，第二个变元$\theta^{(i)}$是参数的当前估计。

3.M步：求使$Q(\theta,\theta^{(i)})$极大化的$\theta$,确定第$i+1$ 次迭代的参数的估计值 $\theta^{(i+1)}$


\theta^{(i+1)}=\arg\max_\theta Q(\theta,\theta^{(i)})

每次迭代$\theta^{(i)}\to\theta^{(i+1)}$使似然函数增大或达到局部极值

4.重复第2步和第3步，直到收敛。

收敛条件通常为：\|\theta^{(i+1)}-\theta^{(i)}\|<\varepsilon_1\quad或\quad\|Q(\theta^{(i+1)},\theta^{(i)})-Q(\theta^{(i)},\theta^{(i)})\|<\varepsilon_2

http://www.dtcms.com/a/279778.html

相关文章：

  • 12.4 Hinton与Jeff Dean突破之作：稀疏门控MoE如何用1%计算量训练万亿参数模型？
  • 【python】基于pygame实现动态粒子爱心
  • Qualcomm FastConnect C7700：新一代Wi-Fi 7
  • Js 压缩图片为 120 kb且使用canvas显示（一键运行）
  • 【EM算法】三硬币模型
  • [硬件电路-21]：模拟信号处理运算与数字信号处理运算的详细比较
  • 连分数的收敛判别与计算方法
  • 鸿蒙开发NDK之---- 如何将ArkTs的类型转化成C++对应的类型（基础类型，包含部分代码解释）
  • Jetson平台CSI摄像头采集与显示：gst-launch-1.0与OpenCV实战
  • 【linux V0.11】boot
  • 多生产者多消费者问题（操作系统os）
  • SpringCloud之Hystrix
  • 【DOCKER】-4 dockerfile镜像管理
  • linux网络存储——freeNAS的安装配置
  • Spring Cloud分布式配置中心：架构设计与技术实践
  • MFC/C++语言怎么比较CString类型 第一个字符
  • 读文章 Critiques of World model
  • Java(集合)
  • aspnetcore Mvc配置选项中的ModelMetadataDetailsProviders
  • SAP-ABAP：SAP库存管理核心增强：IF_EX_MB_DOCUMENT_BADI 深度解析
  • 交换类排序的C语言实现
  • Hello, Tauri!
  • 基于Android的景点旅游信息系统App
  • 使用aiohttp实现高并发爬虫
  • uni-app开发的页面跳转全局加载中
  • 基于HarmonyOS的智能灯光控制系统设计：从定时触发到动作联动全流程实战
  • C++ 中常见的字符串定义方式及其用法
  • 1111自己
  • 基础分类模型及回归简介(一)
  • 体验RAG GitHub/wow-rag