当前位置：首页 > news >正文

最优估计准则与方法（6）递推最小二乘估计(RLS)_学习笔记

news 2025/7/28 5:57:07

前言

最优估计理论中研究的最小二乘估计（LS）为线性最小二乘估计（LLS），包括古典最小二乘估计（CLS）、加权最小二乘估计（WLS）[1]和递推最小二乘估计（RLS）。本文将详细介绍递推最小二乘估计（RLS）。

线性参数估计问题描述

这里重复文章[1]的相关描述。设 $X$ 为 $n$ 维未知参数向量， $Z_{k}$ 为 $k$ 维观测向量，表示经过 $k$ 组实验观测得到的观测值向量，其中元素 $z_{i}$ 表示第i次观测实验得到的观测值，显然其是1维观测标量， $V_{k}$ 为 $k$ 维观测噪声向量，其中元素 $v_{i}$ 表示第i次观测实验的观测噪声，显然其是1维噪声标量。一般情况下 $k > n$ 且希望 $k$ 比 $n$ 大得多。单次观测值为多维的情况将在后文讨论。观测实验依据的自变量为 $θ\theta$ ，则将观测量 $z_{i}$ 表示为关于 $θ\theta$ 的未知函数 $f(θ,X)f(\theta,X)$ ：
$zi=f(θ,X)=∑j=1n[xjhi,j(θ)]+vi=x1hi,1(θ)+x2hi,2(θ)+⋯+xnhi,n(θ)+vi\begin{align*} z_{i} &= f(\theta,X) \\ &= \sum_{j=1}^{n} \left [ x_{j}h_{i,j}(\theta) \right ]+ v_{i} \\ &= x_{1}h_{i,1}(\theta)+ x_{2}h_{i,2}(\theta) + \cdots + x_{n}h_{i,n}(\theta) + v_{i} \tag{1} \\ \end{align*}$
其中
$X=[x1x2⋮xn]Zk=[z1z2⋮zk]Vk=[v1v2⋮vk]\begin{align*} X = \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{bmatrix} Z_{k} = \begin{bmatrix} z_{1} \\ z_{2} \\ \vdots \\ z_{k} \end{bmatrix} V_{k} = \begin{bmatrix} v_{1} \\ v_{2} \\ \vdots \\ v_{k} \end{bmatrix} \end{align*}$
式(1)中 $hi,j(θ)h_{i,j}(\theta)$ 表示第 $i$ 次观测第 $j$ 个基函数，常用为多项式、三角函数或自然指数函数形式：
$hi,j(θ)=θj−1hi,j(θ)=sin(jθ)hi,j(θ)=exp(λjθ)\begin{align*} h_{i,j}(\theta) &= \theta ^{j-1} \\ h_{i,j}(\theta) &= sin(j\theta) \\ h_{i,j}(\theta) &= exp(\lambda_{j} \theta) \\ \end{align*}$
其中， $λj\lambda_{j}$ 为自然数指数参数。
当观测实验进行，上述基函数均可根据 $θ\theta$ 求得。令 $hi=[hi,1(θ)hi,2(θ)⋯hi,n(θ)]h_{i} = \begin{bmatrix} h_{i,1}(\theta) & h_{i,2}(\theta) & \cdots & h_{i,n}(\theta) \\ \end{bmatrix}$ 且为已知，其为 $n$ 维常向量，将式(1)改写为：
$Zk=HkX+Vk\begin{align*} Z_{k}= H_{k}X+ V_{k} \tag{2} \\ \end{align*}$
其中， $H$ 为参数向量 $X$ 到观测向量 $Z$ 的 $\times n$ 维转移矩阵：
$H=[h1h2⋮hk]=[h1,1(θ)h1,2(θ)⋯h1,n(θ)h2,1(θ)h2,2(θ)⋯h2,n(θ)⋮⋮⋱⋮hk,1(θ)hk,2(θ)⋯hk,n(θ)]\begin{align*} H = \begin{bmatrix} h_{1} \\ h_{2} \\ \vdots \\ h_{k} \end{bmatrix} = \begin{bmatrix} h_{1,1}(\theta) & h_{1,2}(\theta) & \cdots & h_{1,n}(\theta) \\ h_{2,1}(\theta) & h_{2,2}(\theta) & \cdots & h_{2,n}(\theta) \\ \vdots & \vdots & \ddots & \vdots\\ h_{k,1}(\theta) & h_{k,2}(\theta) & \cdots & h_{k,n}(\theta) \end{bmatrix} \\ \end{align*}$
显然，观测向量 $Z$ 与被估参数向量 $X$ 存在线性关系，依据最优准则求对 $X$ 的估计值 $X^\hat{X}$ 是一个线性参数估计问题，自然对应线性最小二乘估计（LLS）。

这里讨论下超定方程组的矛盾：当 $k = n$ 时，线性方程组有唯一精确解，但当 $k > n$ ，线性方程数大于未知被估参数向量的维度，线性方程组变成线性超定方程组，其解不唯一。最小二乘法的思想是需求统计意义上的近似解，使线性超定方程组中各方程能得到近似相等。

递推最小二乘估计（Recursive Least Squares Estimation, RLSE）

递推最小二乘估计（RLS） 没有在估计准则方面有新的提法，而是用新的观测信息修正现有估计值计算出新的估计值，实现最小二乘法的递推更新与校正。相比最小二乘估计和加权最小二乘估计的批量处理方法，借助递推滤波的思想，可以在计算空间上有显著的提高[2]。

以加权最小二乘估计中的最优加权估计为例，阐述递推实现过程。
估计准则为：加权残差平方和最小。根据式(3)代价函数改写如下：
$J=Ek^TWEk^=(Zk−HkXk^)TWk(Zk−HXk^)=∑i=1kwie^i2=∑i=1kwi(zi−hiXk^)2=min\begin{align*} J = \hat{E_{k}}^{T}W\hat{E_{k}} &= (Z_{k}-H_{k}\hat{X_{k}})^{T}W_{k}(Z_{k}-H\hat{X_{k}}) = \sum_{i=1}^{k} w_{i}\hat{e}_{i}^{2} = \sum_{i=1}^{k}w_{i}(z_{i}-h_{i}\hat{X_{k}})^{2}=min \tag{3} \\ \end{align*}$
其中， $e^i\hat{e}_{i}$ 为第 $i$ 次观测的残差（Residual Error）， $E^k\hat{E}_{k}$ 为 $k$ 维残差向量有：
$e^i=zi−hiX^kE^k=Zk−HkX^=[e^1e^2⋮e^k]\begin{align*} \hat{e}_{i} &= z_{i}-h_{i}\hat{X}_{k} \\ \hat{E}_{k} &= Z_{k}-H_{k}\hat{X} = \begin{bmatrix} \hat{e}_{1} \\ \hat{e}_{2} \\ \vdots \\ \hat{e}_{k} \end{bmatrix} \\ \end{align*}$
观测噪声向量 $V$ 为白噪声，即 $E [V] = 0$ 且方差矩阵为 $R_{k}$ ：
$Rk=[σ120⋯00σ22⋯0⋮⋮⋱⋮00⋯σk2]\begin{align*} R_{k} &= \begin{bmatrix} \sigma_{1}^{2} & 0& \cdots& 0\\ 0& \sigma_{2}^{2} & \cdots& 0 \\ \vdots& \vdots& \ddots & \vdots\\ 0& 0& \cdots& \sigma_{k}^{2} \end{bmatrix} \\ \end{align*}$
$W_{k}$ 为 $k×kk\times k$ 阶对称正定加权矩阵，取 $W_{k}=R^{-1}$ 时，加权最小二乘估计为最优加权最小二乘估计，也称马尔可夫（Markov）估计，是没有初始值条件下的线性最小方差无偏估计[1]。
$Wk=[w10⋯00w2⋯0⋮⋮⋱⋮00⋯wk]=[1σ120⋯001σ22⋯0⋮⋮⋱⋮00⋯1σn2]\begin{align*} W_{k} &= \begin{bmatrix} w_{1} & 0& \cdots& 0\\ 0& w_{2} & \cdots& 0 \\ \vdots& \vdots& \ddots & \vdots\\ 0& 0& \cdots& w_{k} \end{bmatrix} = \begin{bmatrix} \frac{1}{\sigma_{1}^{2}} & 0& \cdots& 0\\ 0& \frac{1}{\sigma_{2}^{2}} & \cdots& 0 \\ \vdots& \vdots& \ddots & \vdots\\ 0& 0& \cdots& \frac{1}{\sigma_{n}^{2}} \end{bmatrix} \end{align*}$
其估计向量 $X^k\hat{X}_{k}$ 为:
$X^k=(HkTWkHk)−1HkTWkZk=(HkTRk−1Hk)−1HkTRk−1Zk\begin{align*} \hat{X}_{k} &= (H_{k}^{T}W_{k}H_{k})^{-1}H_{k}^{T}W_{k}Z_{k} \tag{4} \\ &= (H_{k}^{T}R_{k}^{-1}H_{k})^{-1}H_{k}^{T}R_{k}^{-1}Z_{k} \tag{5} \\ \end{align*}$
在处理 $k$ 个观测值之后，又得到第 $k + 1$ 次观测值 $z_{k+1}$ ：
$zk+1=∑j=1n[xjhk+1,j(θ)]+vk+1=x1hk+1,1(θ)+x2hk+1,2(θ)+⋯+xnhk+1,n(θ)+vk+1=hk+1X+vk+1\begin{align*} z_{k+1} &= \sum_{j=1}^{n} \left [ x_{j}h_{k+1,j}(\theta) \right ]+ v_{k+1} \\ &= x_{1}h_{k+1,1}(\theta)+ x_{2}h_{k+1,2}(\theta) + \cdots + x_{n}h_{k+1,n}(\theta) + v_{k+1} \\ &= h_{k+1}X+ v_{k+1} \tag{6} \\ \end{align*}$
其中，令 $hk+1=[hk+1,1(θ)hk+1,2(θ)⋯hk+1,n(θ)]h_{k+1} = \begin{bmatrix} h_{k+1,1}(\theta) & h_{k+1,2}(\theta) & \cdots & h_{k+1,n}(\theta) \\ \end{bmatrix}$
将式(2)与(5)合并，得
$Zk+1=Hk+1X+Vk+1\begin{align*} Z_{k+1}= H_{k+1}X+ V_{k+1} \tag{7} \\ \end{align*}$
其中
$Zk+1=[Zkzk+1]Hk+1=[Hkhk+1]Vk+1=[Vkvk+1]\begin{align*} Z_{k+1} &= \begin{bmatrix} Z_{k} \\ z_{k+1} \end{bmatrix} H_{k+1}= \begin{bmatrix} H _{k} \\ h_{k+1} \end{bmatrix} V_{k+1}= \begin{bmatrix} V _{k} \\ v_{k+1} \end{bmatrix} \end{align*}$
由于加权矩阵 $W_{k+1}$ 对称正定矩阵，则
$Wk+1=[Wk00wk+1]\begin{align*} W_{k+1} &= \begin{bmatrix} W_{k}& 0 \\ 0& w_{k+1} \\ \end{bmatrix} \tag{8} \\ \end{align*}$
得到估计向量 $X^\hat{X}$ 为：
$X^k+1=(Hk+1TWk+1Hk+1)−1Hk+1TWk+1Zk+1\begin{align*} \hat{X}_{k+1} &= (H_{k+1}^{T}W_{k+1}H_{k+1})^{-1}H_{k+1}^{T}W_{k+1}Z_{k+1} \tag{9} \\ \end{align*}$
$(Hk+1TWk+1Hk+1)−1=[[Hkhk+1]T[Wk00wk+1][Hkhk+1]]−1=(HkTWkHk+hk+1Twk+1hk+1)−1\begin{align*} (H_{k+1}^{T}W_{k+1}H_{k+1})^{-1} &= \left [ \begin{bmatrix} H_{k} &h_{k+1} \end{bmatrix}^{T} \begin{bmatrix} W_{k}& 0 \\ 0& w_{k+1} \\ \end{bmatrix} \begin{bmatrix} H_{k} &h_{k+1} \end{bmatrix} \right ]^{-1} \\ &= \left ( H_{k}^{T}W_{k}H_{k} + h_{k+1}^{T}w_{k+1}h_{k+1} \right )^{-1} \tag{10} \end{align*}$
令
$Pk=(HkTWkHk)−1Pk−1=HkTWkHkPk+1=(Hk+1TWk+1Hk+1)−1=(HkTWkHk+hk+1Twk+1hk+1)−1=(Pk−1+hk+1Twk+1hk+1)−1Pk+1−1=Pk−1+hk+1Twk+1hk+1\begin{align*} P_{k} &= (H_{k}^{T}W_{k}H_{k})^{-1} \tag{11} \\ P_{k}^{-1} &= H_{k}^{T}W_{k}H_{k} \tag{12} \\ P_{k+1} &= (H_{k+1}^{T}W_{k+1}H_{k+1})^{-1} \\ &= ( H_{k}^{T}W_{k}H_{k} + h_{k+1}^{T}w_{k+1}h_{k+1} )^{-1} \\ &= (P_{k}^{-1} + h_{k+1}^{T}w_{k+1}h_{k+1} )^{-1} \tag{13} \\ P_{k+1}^{-1} &= P_{k}^{-1} + h_{k+1}^{T}w_{k+1}h_{k+1} \tag{14} \\ \end{align*}$
根据矩阵求逆引理，得
$Pk+1=Pk−Pkhk+1T(hk+1Pkhk+1T+wk+1−1)−1hk+1Pk\begin{align*} P_{k+1} &= P_{k} - P_{k}h_{k+1}^{T} (h_{k+1}P_{k}h_{k+1}^{T} + w_{k+1}^{-1})^{-1} h_{k+1}P_{k} \tag{15} \\ \end{align*}$
由式(4)(9)(12)(14)，得出估计递推公式：
$X^k+1=Pk+1Hk+1TWk+1Zk+1=Pk+1(HkTWkZk+hk+1Twk+1zk+1)=Pk+1(Pk−1X^k+hk+1Twk+1zk+1)=Pk+1((Pk+1−1−hk+1Twk+1hk+1)X^k+hk+1Twk+1zk+1)=X^k+Pk+1hk+1Twk+1(zk+1−hk+1X^k)=X^k+Kk+1(zk+1−hk+1X^k)\begin{align*} \hat{X}_{k+1} &= P_{k+1}H_{k+1}^{T}W_{k+1}Z_{k+1} \\ &= P_{k+1}(H_{k}^{T}W_{k}Z_{k} + h_{k+1}^{T}w_{k+1}z_{k+1} ) \\ &= P_{k+1}(P_{k}^{-1} \hat{X}_{k} + h_{k+1}^{T}w_{k+1}z_{k+1} ) \\ &= P_{k+1}((P_{k+1}^{-1}-h_{k+1}^{T}w_{k+1}h_{k+1}) \hat{X}_{k} + h_{k+1}^{T}w_{k+1}z_{k+1} ) \\ &= \hat{X}_{k} + P_{k+1}h_{k+1}^{T}w_{k+1} (z_{k+1} - h_{k+1} \hat{X}_{k}) \\ &= \hat{X}_{k} + K_{k+1} (z_{k+1} - h_{k+1} \hat{X}_{k}) \tag{16} \\ \end{align*}$
其中， $K _{k+1}$ 为递推增益
$Kk+1=Pk+1hk+1Twk+1\begin{align*} K_{k+1} &= P_{k+1}h_{k+1}^{T}w_{k+1} \tag{17} \\ \end{align*}$
对于加权最小二乘估计，式(15)(16)(17)即为其递推最小二乘估计（RLS）的递推公式：
$Pk+1=Pk−Pkhk+1T(hk+1Pkhk+1T+wk+1−1)−1hk+1PkKk+1=Pk+1hk+1Twk+1X^k+1=X^k+Kk+1(zk+1−hk+1X^k)\begin{align*} P_{k+1} &= P_{k} - P_{k}h_{k+1}^{T} (h_{k+1}P_{k}h_{k+1}^{T} + w_{k+1}^{-1})^{-1} h_{k+1}P_{k} \tag{15} \\ K_{k+1} &= P_{k+1}h_{k+1}^{T}w_{k+1} \tag{17} \\ \hat{X}_{k+1} &= \hat{X}_{k} + K_{k+1} (z_{k+1} - h_{k+1} \hat{X}_{k}) \tag{16} \\ \end{align*}$
对于最优加权最小二乘估计，将 $w_{k+1}=r_{k+1}^{-1}$ 代入上式， $r_{k+1}^{-1}$ 为第 $k + 1$ 次观测噪声 $v_{k+1}$ 的方差，到其递推最小二乘估计（RLS）的递推公式：
$Pk+1=Pk−Pkhk+1T(hk+1Pkhk+1T+rk+1)−1hk+1PkKk+1=Pk+1hk+1Trk+1−1X^k+1=X^k+Kk+1(zk+1−hk+1X^k)\begin{align*} P_{k+1} &= P_{k} - P_{k}h_{k+1}^{T} (h_{k+1}P_{k}h_{k+1}^{T} + r_{k+1})^{-1} h_{k+1}P_{k} \tag{18} \\ K_{k+1} &= P_{k+1}h_{k+1}^{T}r_{k+1}^{-1} \tag{19} \\ \hat{X}_{k+1} &= \hat{X}_{k} + K_{k+1} (z_{k+1} - h_{k+1} \hat{X}_{k}) \tag{16}\\ \end{align*}$
关于初值 $X^0\hat{X}_{0}$ 与 $P_{0}$ 有两种方法确定[2]：

批量计算前n次观测实验数据得到；
假设 $X^0=0\hat{X}_{0}=0$ 与 $P_{0}=C^{T}CI$ ， $C$ 为一个充分大的正数。
后者比前者不需要计算 $\times n$ 阶逆矩阵，但是要经过一定次数迭代后才能得到满意估计。

多维观测

假设第 $i$ 组实验的观测值 $Z_{i}$ 为 $m$ 维观测向量，对应的观测噪声 $V_{i}$ 为 $m$ 维观测向量，观测转移矩阵 $H_{i}$ 为 $\times n$ 阶矩阵，有：
$Zi=[zi,1zi,2⋮zi,m],Vi=[vi,1vi,2⋮vi,m],Var(Vi)=Ri,Hi=[hi,1,1(θ)hi,1,2(θ)⋯hi,1,n(θ)hi,2,1(θ)hi,2,2(θ)⋯hi,2,n(θ)⋮⋮⋱⋮hm,2,1(θ)hm,2,2(θ)⋯hm,2,n(θ)]\begin{align*} Z_{i} &= \begin{bmatrix} z_{i,1} \\ z_{i,2} \\ \vdots\\ z_{i,m} \end{bmatrix} ,V_{i} = \begin{bmatrix} v_{i,1} \\ v_{i,2} \\ \vdots\\ v_{i,m} \end{bmatrix}, Var(V_i) = R_{i}, H_{i} = \begin{bmatrix} h_{i,1,1}(\theta)& h_{i,1,2}(\theta)& \cdots& h_{i,1,n}(\theta) \\ h_{i,2,1}(\theta)& h_{i,2,2}(\theta)& \cdots& h_{i,2,n}(\theta) \\ \vdots & \vdots& \ddots& \vdots\\ h_{m,2,1}(\theta)& h_{m,2,2}(\theta)& \cdots& h_{m,2,n}(\theta) \end{bmatrix} \end{align*}$
对于第 $i$ 组实验，观测值向量为：
$Zi=HiX+Vi\begin{align*} Z_{i} = H_{i}X+V_{i} \tag{20} \end{align*}$
对于全部 $k$ 组实验，观测值向量为：
$Zˉk=HˉkX+Vˉk(21)\bar{Z}_{k} = \bar{H}_{k}X + \bar{V}_{k} \tag{21}$
其中
$Zˉk=[Z1Z2⋮Zk],Hˉk=[H1H2⋮Hk],Vˉk=[V1V2⋮Vk]\begin{align*} \bar{Z}_{k} &= \begin{bmatrix} Z_{1} \\ Z_{2} \\ \vdots\\ Z_{k} \end{bmatrix} , \bar{H}_{k} &= \begin{bmatrix} H_{1} \\ H_{2} \\ \vdots\\ H_{k} \end{bmatrix} , \bar{V}_{k} &= \begin{bmatrix} V_{1} \\ V_{2} \\ \vdots\\ V_{k} \end{bmatrix} \end{align*}$
根据加权最小二乘估计（WLS）准则：加权残差平方和最小。其代价函数为：
$J=(Zˉk−HˉkX^)TWˉk(Zˉk−HˉkX^)\begin{align*} J &= (\bar{Z}_{k} - \bar{H}_{k} \hat{X})^{T} \bar{W}_{k} (\bar{Z}_{k} - \bar{H}_{k} \hat{X}) \tag{22} \end{align*}$
式中， $Wˉk\bar{W}_{k}$ 为对称正定加权矩阵。
可得估计值向量 $X^k\hat{X}_{k}$ 为：
$X^k=(HˉkTWˉkHˉk)−1HˉkTWˉkZˉk\begin{align*} \hat{X}_{k} &= (\bar{H}_{k}^{T} \bar{W}_{k} \bar{H}_{k} ) ^{-1} \bar{H}_{k}^{T}\bar{W}_{k} \bar{Z}_{k} \tag{23} \end{align*}$
现得到第 $k + 1$ 次观测值为:
$Zk+1=Hk+1X+Vk+1\begin{align*} Z_{k+1} = H_{k+1}X + V_{k+1} \tag{24} \end{align*}$
设第 $k + 1$ 次加权矩阵为：
$Wˉk+1=[Wˉk00Wk+1]\begin{align*} \bar{W}_{k+1} &= \begin{bmatrix} \bar{W}_{k}& 0 \\ 0& W_{k+1} \\ \end{bmatrix} \end{align*}$
根据式(11)(12)(13)(14)，得
$Pˉk=(HˉkTWˉkHˉk)−1Pˉk−1=HˉkTWˉkHˉkPˉk+1=(Pˉk−1+Hk+1TWk+1Hk+1)−1Pˉk+1−1=Pˉk−1+Hk+1TWk+1Hk+1\begin{align*} \bar{P}_{k} &= (\bar{H}_{k}^{T}\bar{W}_{k}\bar{H}_{k})^{-1} \tag{25} \\ \bar{P}_{k}^{-1} &= \bar{H}_{k}^{T}\bar{W}_{k}\bar{H}_{k} \tag{26} \\ \bar{P}_{k+1} &= (\bar{P}_{k}^{-1} + H_{k+1}^{T}W_{k+1}H_{k+1} )^{-1} \tag{27} \\ \bar{P}_{k+1}^{-1} &= \bar{P}_{k}^{-1} + H_{k+1}^{T}W_{k+1}H_{k+1} \tag{28} \\ \end{align*}$
根据式(15)(16)(17)，其加权最小二乘估计的递推最小二乘估计（RLS）的递推公式：
$Pˉk+1=Pˉk−PˉkHk+1T(Hk+1PˉkHk+1T+Wk+1−1)−1Hk+1PˉkKk+1=Pˉk+1Hk+1TWk+1X^k+1=X^k+Kk+1(Zk+1−Hk+1X^k)\begin{align*} \bar{P}_{k+1} &= \bar{P}_{k} - \bar{P}_{k}H_{k+1}^{T} (H_{k+1}\bar{P}_{k}H_{k+1}^{T} + W_{k+1}^{-1})^{-1} H_{k+1}\bar{P}_{k} \tag{29} \\ K_{k+1} &= \bar{P}_{k+1}H_{k+1}^{T}W_{k+1} \tag{30} \\ \hat{X}_{k+1} &= \hat{X}_{k} + K_{k+1} (Z_{k+1} - H_{k+1} \hat{X}_{k}) \tag{31} \\ \end{align*}$
如果取加权矩阵：
$Wˉk=Rˉk−1=[R10⋯00R2⋯0⋮⋮⋱⋮00⋯Rk]Wk+1=Rk+1−1=Var(Vk+1)Wˉk+1=[Wˉk00Wk+1]=[Rˉk−100Rk+1−1]\begin{align*} \bar{W}_{k} &= \bar{R}_{k}^{-1} = \begin{bmatrix} R_{1}& 0& \cdots& 0 \\ 0& R_{2}& \cdots& 0 \\ \vdots& \vdots& \ddots& \vdots \\ 0& 0& \cdots& R_{k} \\ \end{bmatrix} \tag{32} \\ W_{k+1} &= R_{k+1}^{-1} = Var(V_{k+1}) \tag{33} \\ \bar{W}_{k+1} &= \begin{bmatrix} \bar{W}_{k}& 0 \\ 0& W_{k+1} \\ \end{bmatrix} = \begin{bmatrix} \bar{R}_{k}^{-1}& 0 \\ 0& R_{k+1}^{-1} \\ \end{bmatrix} \tag{34} \end{align*}$
根据式(29-34)，其最优加权最小二乘估计的递推最小二乘估计（RLS）递推公式：
$Pˉk+1=Pˉk−PˉkHk+1T(Hk+1PˉkHk+1T+Rk+1)−1Hk+1PˉkKk+1=Pˉk+1Hk+1TRk+1−1X^k+1=X^k+Kk+1(Zk+1−Hk+1X^k)\begin{align*} \bar{P}_{k+1} &= \bar{P}_{k} - \bar{P}_{k}H_{k+1}^{T} (H_{k+1}\bar{P}_{k}H_{k+1}^{T} + R_{k+1})^{-1} H_{k+1}\bar{P}_{k} \tag{35} \\ K_{k+1} &= \bar{P}_{k+1}H_{k+1}^{T}R_{k+1}^{-1} \tag{36} \\ \hat{X}_{k+1} &= \hat{X}_{k} + K_{k+1} (Z_{k+1} - H_{k+1} \hat{X}_{k}) \tag{37} \\ \end{align*}$
关于初值 $X^0\hat{X}_{0}$ 与 $Pˉ0\bar{P}_{0}$ 有两种方法确定：

批量计算前n次观测实验数据得到；
假设 $X^0=0\hat{X}_{0}=0$ 与 $Pˉ=CTCI\bar{P}=C^{T}CI$ ， $C$ 为一个充分大的正数。
后者比前者不需要计算 $mn \times mn$ 阶逆矩阵，但是要经过一定次数迭代后才能得到满意估计。

衰减加权

前文表述的加权矩阵将过去和现在的数据视为同等重要。但有些情况被估参数向量可能会随着时间而缓慢变化，此时应该重视当前数据而逐渐衰减过去数据的影响，只需如下选择加权矩阵：
$Wk=[e−(k−1)a0⋯000e−(k−2)a⋯00⋮⋮⋱⋮⋮00⋯e−a000⋯01]=[Wk−1e−a001]\begin{align*} W_{k} &= \begin{bmatrix} e^{-(k-1)a}& 0& \cdots& 0& 0 \\ 0& e^{-(k-2)a}& \cdots& 0& 0 \\ \vdots& \vdots& \ddots& \vdots& \vdots \\ 0& 0& \cdots& e^{-a}& 0 \\ 0& 0& \cdots& 0& 1 \end{bmatrix} = \begin{bmatrix} W_{k-1}e^{-a}& 0 \\ 0& 1 \end{bmatrix} \tag{38} \\ \end{align*}$
其中， $a$ 为一个正数，称为衰减因子。

参考文献

[1] 最优估计准则与方法（5）加权最小二乘估计(WLS)_学习笔记
https://blog.csdn.net/jimmychao1982/article/details/149656746
[2] 《最优估计理论》，周凤歧，2009，高等教育出版社。
[3] 《最优估计理论》，刘胜，张红梅著，2011，科学出版社。

查看全文

http://www.dtcms.com/a/300594.html