【课堂笔记】特征值分解

定义

设$A\in {\mathbb{C}}^{m\times m}$，如果存在$\lambda \in \mathbb{C},x\in {\mathbb{C}}^m$满足：
$$Ax=\lambda x$$
则称$\lambda$是特征值(eigenvalue)，$x$是特征向量(eigenvector)
设Λ(A)={λi}\Lambda(A) = \set{\lambda_i}Λ(A)={λi​}，$X=[x_1\mid x_2\mid ...\mid x_m]$，则可以写成$AX=X\Lambda$
特征多项式定义为：
$$p_A(z)=\det (zI-A)=(z-{\lambda }_1)...(z-{\lambda }_m)$$
如果每个${\lambda }_i$是唯一的，称它们是简单的(simple)

定义相似变换为：
$$A\mapsto B=X^{-1}AX$$

引理1

代数重数总是大于等于几何重数。
如果它们相等，称这个矩阵是非缺陷的(nondefective)

定理2

相似矩阵$A,B$有相同的特征多项式、特征值、代数/几何重数

定理3

如果$m\times m$的矩阵$A$是非缺陷的，则存在特征值分解
$$A=X\Lambda X^{-1}$$

定义4

Schur分解是形如：
$$A=QT{Q}^{\ast }$$
其中$Q$是酉矩阵，$T$是上三角矩阵

定理5

每个方阵$A$都有Schur分解

定理6

若$A$是Hermitian的，则$A=Q\Lambda Q^{\ast }$，其中$\Lambda$是实的。
我们可以用
$$A\to Q_1^{\ast }A{Q}_1\to Q_2^{\ast }{Q}_1^{\ast }A{Q}_1{Q}_2\to ...\to T$$
来收敛到$T$

特征值算法

Rayleigh商（Rayleigh Quotient）

设
$$r(x)=\frac{x^{\top }Ax}{x^{\top }x}$$
其中
$$\frac{\partial r}{\partial x_j}=\frac{2}{x^{\top }x}(Ax-r(x)x{)}_j$$
如果$x$是特征向量，对应的特征值为$\lambda$，则$r(x)=\lambda$，$\nabla r(x)=0$【主要用途】
设$q_j$是$A$的特征向量，如果$x\to q_j$，则：
$$r(x)-r(q_j)=O(\Vert x-q_j{\Vert }^2)$$

幂迭代法(Power Iteration)解特征向量

具体实现：

# input: A
# x_0 : random vector
for k=1,2,...y = A * x_{k-1}x_k = y / ||y||  # 归一化防止数值溢出
λ = xᵀy   # Rayleigh商得到最终的特征值 λ = xᵀAx

原理：
$$\begin{gathered} x^{(0)}=a_1{q}_1+a_2{q}_2+...+a_m{q}_m \\ {x}^{(1)}=a_1{\lambda }_1{q}_1+a_2{\lambda }_2{q}_2+...+a_m{\lambda }_m{q}_m \\ ⋮ \\ {x}^{(k)}=a_1{\lambda }_1^k{q}_1+a_2{\lambda }_2^k{q}_2+...+a_m{\lambda }_m^k{q}_m \end{gathered}$$
假设$|{\lambda }_1|>...>|{\lambda }_m|$，则它收敛到最大的特征向量，收敛速度取决于$|{\lambda }_2/{\lambda }_1|$

这个方法有些问题：

• $q_1$缺失
• ${\lambda }_1^k$数值溢出
• 收敛速度可能很慢

位移逆迭代法(Shifted Inverse Iteration)

如果我们对$A^{-1}$进行幂迭代，那么就能得到它的最大模特征向量，也就是$A$的最小模特征向量的倒数。

然而，我们不想要最小，也不想要最大，我们希望得到任意一个特征值。
引入位移$\mu$，我们对$B=(A-\mu I{)}^{-1}$作幂迭代，就可以求出$A$的离$\mu$最近的特征值！这是因为：
$$|{\lambda }_j(B)|=\frac{1}{|{\lambda }_j(A)-\mu |}$$

完整算法：

‖v⁽⁰⁾‖₂ = 1
for k = 1, 2, ..., max_iter(A − μI) w = v⁽ᵏ⁻¹⁾    # 求解线性方程组v⁽ᵏ⁾ = w / ‖w‖₂        # 归一化λ⁽ᵏ⁾ = (v⁽ᵏ⁾)ᵀ A v⁽ᵏ⁾  # 计算 Rayleigh 商（特征值估计）

Rayleigh 商迭代

在位移逆迭代法的基础上，我们让$\mu$也迭代起来，让上一步的$\lambda$当成下一次的$\mu$：

‖v⁽⁰⁾‖₂ = 1
for k = 1, 2, ..., max_iter(A − μ⁽ᵏ⁻¹⁾I) w = v⁽ᵏ⁻¹⁾    # 求解线性方程组v⁽ᵏ⁾ = w / ‖w‖₂        # 归一化μ⁽ᵏ⁾ = λ⁽ᵏ⁾ = (v⁽ᵏ⁾)ᵀ A v⁽ᵏ⁾  # 计算 Rayleigh 商（特征值估计）

这个算法有个很大的优势，由以下定理给出：

局部三次收敛定理

如果$A$是对称的，即$A=A^{\top }$，当接近真实值时，误差将以立方的速度下降：
$$\begin{gathered} \Vert v^{(k+1)}-(\pm q_j)\Vert =O\Vert v^{(k)}-(\pm q_j){\Vert }^3 \\ |{\lambda }^{(k+1)}-{\lambda }_j|=O|{\lambda }^{(k)}-{\lambda }_j{|}^3 \end{gathered}$$

QR分解 + RQ重排

算法：
$$\begin{array}{rl}& A^{(0)}=A\\ & \text{for k=1,2,...}:\\ & Q^{(k)}{R}^{(k)}=A^{(k-1)}\\ & A^{(k)}=R^{(k)}{Q}^{(k)}\end{array}$$
RQ重排的本质是用同一个正交矩阵$Q^{(k)}$对原矩阵做一次 左右旋转（相似变换）：
$$\begin{array}{rl}{A}^{(k)}=R^{(k)}{Q}^{(k)}& =[(Q^{(k)}{)}^{\top }{Q}^{(k)}]R^{(k)}{Q}^{(k)}\\ & =(Q^{(k)}{)}^{\top }[Q^{(k)}{R}^{(k)}]Q^{(k)}\\ & =(Q^{(k)}{)}^{\top }{A}^{(k-1)}{Q}^{(k)}\end{array}$$