线性代数 - 理解求解矩阵特征值的特征方程

线性代数 - 理解求解矩阵特征值的特征方程

flyfish

特征方程是针对一个给定矩阵 $A$ 定义的，用于描述该矩阵的“特征”性质。它是求解矩阵特征值的特征方程，因为它的主要目的是通过解这个方程来找到矩阵的所有特征值 $\lambda$

理解

步骤1: 为什么需要特征值

1.1 线性变换：在线性代数中，矩阵 $A$（假设是 $n\times n$ 的实数或复数方阵）代表一个线性变换。例如，在二维空间中，矩阵可以把一个向量“变换”成另一个向量，如旋转、拉伸或反射。我们想分析这个变换的“本质行为”：不是对所有向量都复杂变换，而是对某些特殊向量只是简单“缩放”（乘以一个数）。

1.2 定义的引入：为了捕捉这个“缩放”行为，定义：对于矩阵 $A$，如果存在一个标量 $\lambda$（叫特征值，eigenvalue，源自德语“eigen”意思是“固有的”）和一个非零向量 $\mathbf{v}$（叫特征向量，eigenvector），满足：
$$A\mathbf{v}=\lambda \mathbf{v}$$
这里，$\mathbf{v}$ 不能是零向量，因为零向量满足任何 $\lambda$，但没意义（它不代表方向）。
$\lambda$ 是标量，可以是实数或复数，取决于矩阵。
为什么非零？如果 $\mathbf{v}=0$，等式总是成立，但不提供矩阵的任何信息。

1.3 直观例子：拿一个简单2×2矩阵 $$A=\left(\begin{array}{cc}2& 0\\ 0& 3\end{array}\right)$$（对角矩阵）。
对于向量 $\mathbf{v}=\left(\begin{array}{c}1\\ 0\end{array}\right)$，$A\mathbf{v}=\left(\begin{array}{c}2\\ 0\end{array}\right)=2\left(\begin{array}{c}1\\ 0\end{array}\right)$，所以 $\lambda =2$。
对于 $\mathbf{v}=\left(\begin{array}{c}0\\ 1\end{array}\right)$，$\lambda =3$。
这显示矩阵在x轴缩放2倍，在y轴缩放3倍。特征值揭示了这些“固有缩放”。

1.4 问题提出：定义有了，但怎么系统找到所有 $\lambda$？这就需要一个数学方程来求解 $\lambda$，引出下一步。
逻辑连接到步骤2：这个定义是起点，但它是等式，不是可直接解的方程。我们需要变形它，使其变成可处理的线性方程组形式。

步骤2: 从定义变形到齐次线性方程组（引入矩阵形式）

2.1 变形的基本想法：从 $A\mathbf{v}=\lambda \mathbf{v}$ 开始，想把所有项移到一边，变成“等于零”的形式，便于用线性代数工具分析。
为什么这样？因为线性代数擅长处理“$M\mathbf{x}=\mathbf{b}$”形式的方程，尤其是 $$\mathbf{b}=0$$ 时（齐次方程）。
子步骤：先减去右边：$$A\mathbf{v}-\lambda \mathbf{v}=0$$。
这里 $\mathbf{v}$ 是公共因子，但不能直接除（因为 $\mathbf{v}$ 是向量）。

2.2 引入单位矩阵的必要性：注意到 $$\lambda \mathbf{v}=(\lambda I)\mathbf{v}$$，其中 $I$ 是单位矩阵（$n\times n$，主对角线1，其余0）。
为什么需要 $I$？因为 $\lambda$ 是标量，不能直接减矩阵 $A$。乘以 $I$ 把 $\lambda$ “扩展”成矩阵形式：$$\lambda I=\left(\begin{array}{cc}\lambda & 0\\ 0& \lambda \end{array}\right)$$（对于2×2）。
这样，等式变成：$$A\mathbf{v}-(\lambda I)\mathbf{v}=0$$。
进一步，因子化：$$(A-\lambda I)\mathbf{v}=0$$。
解释：$A-\lambda I$ 是新矩阵，每个对角元素减 $\lambda$，非对角不变。

2.3 例子说明变形：继续用 $A=\left(\begin{array}{cc}2& 0\\ 0& 3\end{array}\right)$。
$$A-\lambda I=\left(\begin{array}{cc}2-\lambda & 0\\ 0& 3-\lambda \end{array}\right)$$
方程：$$\left(\begin{array}{cc}2-\lambda & 0\\ 0& 3-\lambda \end{array}\right)\left(\begin{array}{c}{v}_1\\ v_2\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right)$$
这展开成：$(2-\lambda )v_1=0$，$(3-\lambda )v_2=0$。要非零解，如当 $\lambda =2$，则 $v_2$ 任意，$v_1=0$（如果要非零v）。

2.4 为什么是齐次方程组？：这个形式叫齐次线性方程组，因为右边是零，且所有方程是线性（无常数项）。
齐次方程总有零解，但我们关心非零解，这直接连接到矩阵的性质（如秩、核）。
如果不变形，就停留在抽象等式，无法用行列式等工具。

逻辑连接到步骤3：现在有方程组，但还没条件确保非零解。下一步用线性代数的定理来找出这个条件。

步骤3: 齐次方程组有非零解的条件（非平凡解的存在）

3.1 回顾齐次方程组：对于一般齐次方程 $M\mathbf{x}=0$（$M$ 是 $n\times n$ 矩阵），它总有平凡解 $\mathbf{x}=0$。
但非平凡解（非零 $\mathbf{x}$）的存在取决于 $M$ 的性质。
基础定理（线性代数公理）：如果 $M$ 可逆（满秩，行列式非零），则只有零解（因为 $\mathbf{x}=M^{-1}0=0$）。
如果 $M$ 不可逆（奇异，秩 < n），则有无穷多非零解（自由变量存在）。

3.2 不可逆的充要条件：方阵 $M$ 不可逆 ⇔ 其行列式 $\det (M)=0$ 或 $|M|=0$。
为什么行列式？行列式是矩阵的“体积”度量：为零意味着列向量线性相关，无法“反转”变换。
子证明简述：行列式定义为交替多线性形式；如果列相关，行列式为零（基本性质）。反之，如果非零，存在逆矩阵（伴随矩阵公式）。

3.3 应用到我们的情况：在这里，$M=A-\lambda I$，方程是 $(A-\lambda I)\mathbf{v}=0$。
要非零 $\mathbf{v}$，必须 $A-\lambda I$ 不可逆，即：
$$|A-\lambda I|=0$$
这就是特征方程的雏形。

3.4 例子验证：用前例，$|A-\lambda I|=(2-\lambda )(3-\lambda )=0$，解得 $\lambda =2,3$，匹配我们直观的特征值。
如果 $\lambda =1$（不是特征值），行列式 = (2-1)(3-1) = 2 ≠ 0，矩阵可逆，只有零解。

3.5 为什么这个条件必要且充分？：必要：如果有非零 $\mathbf{v}$，则 $A-\lambda I$ 有非零核，故不可逆。
充分：如果行列式零，则存在非零 $\mathbf{v}$ 在核中。
这基于可逆矩阵定理（invertible matrix theorem）的多个等价条件。

逻辑连接到后续：这个步骤给出条件 $|A-\lambda I|=0$，下一步就是计算它，形成多项式方程。

步骤4: 形成特征方程（多项式方程的出现）

4.1 行列式的计算背景：从步骤3，知道要 $|A-\lambda I|=0$。现在，$|A-\lambda I|$ 不是一个常数，而是一个关于 $\lambda$ 的表达式。我们需要计算它，看它是什么形式。
为什么计算行列式？行列式是一个多线性函数，能把矩阵“浓缩”成一个标量多项式。它的定义（通过 Leibniz 公式或 Laplace 展开）确保了对 $\lambda$ 的依赖是多项式的。
对于 n×n 矩阵，行列式是置换乘积的交替和（alternating sum） 。高斯消元也能计算，但这里我们关注其多项式性质。
子步骤：矩阵 $A-\lambda I$ 的元素是 $a_{ij}-{\delta }_{ij}\lambda$，其中 ${\delta }_{ij}=1$ 如果 i=j，否则0。所以只有对角线有 $\lambda$。

4.2 特征多项式的定义和形式：计算 $$p(\lambda )=|A-\lambda I|=\det (A-\lambda I)$$，结果是一个 n 次多项式（monic polynomial，如果用 $|\lambda I-A|$ 则领先系数为1）。
为什么是多项式？因为行列式是元素的多项式函数：展开时，$\lambda$ 只出现在对角，最高次是 $(-\lambda {)}^n$（n次），系数取决于 A 的元素。
正式形式：$$p(\lambda )=(-1{)}^n{\lambda }^n+c_{n-1}{\lambda }^{n-1}+\cdots +c_1\lambda +c_0$$，其中系数 $c_k$ 来自 A 的子行列式（minor）。
例如，迹（trace）是 $-c_{n-1}$（对角和）；常数项是 $(-1{)}^n\det (A)$。
这叫特征多项式（characteristic polynomial），因为它“刻画”了矩阵的特征值（根）。

4.3 详细例子计算：拿2×2矩阵 $A=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)$。
$A-\lambda I=\left(\begin{array}{cc}a-\lambda & b\\ c& d-\lambda \end{array}\right)$。
行列式：$$|A-\lambda I|=(a-\lambda )(d-\lambda )-bc={\lambda }^2-(a+d)\lambda +(ad-bc)$$（注意领先系数1，如果用 $|\lambda I-A|$ 则相同但符号调整）。
这是一个二次多项式：解 $${\lambda }^2-tr(A)\lambda +\det (A)=0$$，根是特征值。
具体数例：如果 $$A=\left(\begin{array}{cc}2& 0\\ 0& 3\end{array}\right)$$，则 $$p(\lambda )=(\lambda -2)(\lambda -3)={\lambda }^2-5\lambda +6$$，设为0得 $\lambda =2,3$。

4.4 为什么设为零形成方程？：特征多项式 $p(\lambda )$ 的根就是满足 $p(\lambda )=0$ 的 $\lambda$，这些根正是特征值（由代数基本定理 ，n次多项式有n个根，计重数）。
子证明：如果 ${\lambda }_0$ 是根，则 $|A-{\lambda }_{0}I|=0$，由步骤3，有非零 $\mathbf{v}$，故 ${\lambda }_0$ 是特征值。
反之，如果 ${\lambda }_0$ 是特征值，则存在非零 $\mathbf{v}$，矩阵奇异，行列式零，故是根。
这就是特征方程：$|A-\lambda I|=0$ 或 $p(\lambda )=0$。
把问题转为解多项式方程（用公式、数值方法如 Newton 迭代）。