平均指数移动(EMA)
什么是 EMA
指数移动平均(EMA)是一种 加权移动平均(Weighted Moving Average, WMA)的方法,其特点是:越近期的数据被赋予越大的权重,较早的数据权重逐渐指数衰减。换句话说,EMA 相比简单移动平均(SMA, Simple Moving Average)对新近变动反应更快。
公式上,若用 表示时间
的价格(或观测值),则一个常见的 N 日 EMA(记为
)可写为:
其中 是平滑系数(smoothing constant),通常取
(或其他形式)来反映 “N 日” 的含义。
也可以写为:
有些资料还说明,EMA 可视为一种 “无限冲击响应滤波器”(infinite‐impulse response filter)形式,其中对于更早的数据,权重永远不会完全变为零,但随着时间远去权重越来越小。
平均指数移动在 mean teacher 中的应用
mean teacher 的核心思想:用一个“教师模型(teacher)”指导“学生模型(student)”,教师模型的参数不是独立训练的,而是由学生模型参数的 EMA(指数移动平均) 形成的。这样教师模型更稳定,能生成更可靠的伪标签(pseudo labels),从而指导学生模型在未标注数据上学习一致性。
假设学生模型的参数为 ,教师模型的参数为
。Mean Teacher 使用 EMA 更新教师参数:
其中 代表衰减系数
教师 = 多个历史学生模型参数的加权平均,最近的学生模型权重更大,较早的模型影响逐渐减小。