神聖的綫性代數速成例題19. 最小二乘法在線性代數中的應用、線性空間的直和分解及相關性質、矩陣的特徵值分解的拓展應用
1. **最小二乘法在線性代數中的應用**：
最小二乘法是一種在數據擬合和求解矛盾線性方程組等方面非常有用的方法。
對於線性方程組 \(Ax = b\)（其中 \(A\) 是 \(m\times n\) 矩陣，\(x\) 是 \(n\) 維未知向量，\(b\) 是 \(m\) 維向量），若方程組無解（即 \(m > n\) 時常見的矛盾方程組情況），最小二乘法的目標是找到一個 \(\hat{x}\)，使得 \(\vert\vert Ax - b\vert\vert^2\) 達到最小。
通過求導等方法可以得到 \(\hat{x}\) 滿足正則方程 \(A^TA\hat{x} = A^Tb\)，解這個方程就可以得到最小二乘解。
2. **線性空間的直和分解及相關性質**：
設 \(V_1\) 和 \(V_2\) 是線性空間 \(V\) 的子空間，若 \(V = V_1 + V_2\) 且 \(V_1\cap V_2 = \{0\}\)，則稱 \(V\) 是 \(V_1\) 與 \(V_2\) 的直和，記作 \(V = V_1\oplus V_2\)。
直和分解具有一些重要性質，例如 \(V\) 中任意向量 \(\alpha\) 都可以唯一地表示為 \(\alpha = \alpha_1 + \alpha_2\)，其中 \(\alpha_1\in V_1\)，\(\alpha_2\in V_2\)；\(\dim(V)=\dim(V_1)+\dim(V_2)\) 等。更一般地，對於多個子空間 \(V_1,V_2,\cdots,V_s\)，也可以定義直和 \(V = V_1\oplus V_2\oplus\cdots\oplus V_s\)。
3. **矩陣的特徵值分解的拓展應用**：
對於可相似對角化的矩陣 \(A\)，可以進行特徵值分解 \(A = P\Lambda P^{-1}\)，其中 \(\Lambda\) 是對角矩陣，對角線元素是 \(A\) 的特徵值，\(P\) 是由 \(A\) 的線性無關的特徵向量構成的可逆矩陣。
特徵值分解在矩陣乘方計算（如 \(A^k = P\Lambda^k P^{-1}\)）、線性微分方程組求解、主成分分析（PCA）等方面有廣泛應用。
在主成分分析中，通過對數據的協方差矩陣進行特徵值分解，可以找到數據的主要成分，實現數據降維等目的。
**例題解析**：
1. 用最小二乘法求解矛盾方程組 \(\begin{cases}x + y = 1\\x + y = 2\\x - y = 1\end{cases}\)。
解：
首先，將方程組寫成矩陣形式 \(Ax = b\)，其中 \(A = \begin{pmatrix}1&1\\1&1\\1& - 1\end{pmatrix}\)，\(x = \begin{pmatrix}x\\y\end{pmatrix}\)，\(b = \begin{pmatrix}1\\2\\1\end{pmatrix}\)。
然後，計算 \(A^TA\) 和 \(A^Tb\)：
\(A^TA = \begin{pmatrix}1&1&1\\1&1& - 1\end{pmatrix}\begin{pmatrix}1&1\\1&1\\1& - 1\end{pmatrix}=\begin{pmatrix}3&1\\1&3\end{pmatrix}\)。
\(A^Tb = \begin{pmatrix}1&1&1\\1&1& - 1\end{pmatrix}\begin{pmatrix}1\\2\\1\end{pmatrix}=\begin{pmatrix}4\\2\end{pmatrix}\)。
接著，解正則方程 \(A^TA\hat{x} = A^Tb\)，即 \(\begin{pmatrix}3&1\\1&3\end{pmatrix}\begin{pmatrix}\hat{x}\\\hat{y}\end{pmatrix}=\begin{pmatrix}4\\2\end{pmatrix}\)。
由第一個方程 \(3\hat{x}+\hat{y}=4\) 可得 \(\hat{y}=4 - 3\hat{x}\)，將其代入第二個方程 \(1\times\hat{x}+3\times(4 - 3\hat{x}) = 2\)。
展開得 \(\hat{x}+12 - 9\hat{x}=2\)，即 \(-8\hat{x}=-10\)，解得 \(\hat{x}=\frac{5}{4}\)。 - 把 \(\hat{x}=\frac{5}{4}\) 代入 \(\hat{y}=4 - 3\hat{x}\)，得 \(\hat{y}=4 - 3\times\frac{5}{4}=\frac{16 - 15}{4}=\frac{1}{4}\)。
所以，最小二乘解為 \(\hat{x}=\frac{5}{4}\)，\(\hat{y}=\frac{1}{4}\)。
2. 已知 \(V\) 是 \(4\) 維線性空間，\(V_1\) 是由向量 \(\alpha_1=(1,0,0,0)\)，\(\alpha_2=(0,1,0,0)\) 生成的子空間，\(V_2\) 是由向量 \(\alpha_3=(0,0,1,0)\)，\(\alpha_4=(0,0,0,1)\) 生成的子空間，證明 \(V = V_1\oplus V_2\)。
證明：
首先，證明 \(V = V_1 + V_2\)。
對於任意的 \(\alpha=(x_1,x_2,x_3,x_4)\in V\)，可以表示為 \(\alpha=(x_1,x_2,0,0)+(0,0,x_3,x_4)\)，其中 \((x_1,x_2,0,0)\in V_1\)（因為它可以表示為 \(x_1\alpha_1 + x_2\alpha_2\)），\((0,0,x_3,x_4)\in V_2\)（因為它可以表示為 \(x_3\alpha_3 + x_4\alpha_4\)），所以 \(V\subseteq V_1 + V_2\)。
又因為 \(V_1\) 和 \(V_2\) 是 \(V\) 的子空間，所以 \(V_1 + V_2\subseteq V\)，因此 \(V = V_1 + V_2\)。
其次，證明 \(V_1\cap V_2 = \{0\}\)。
設 \(\beta\in V_1\cap V_2\)，則 \(\beta\) 既可以表示為 \(\beta = k_1\alpha_1 + k_2\alpha_2 = (k_1,k_2,0,0)\)，又可以表示為 \(\beta = k_3\alpha_3 + k_4\alpha_4 = (0,0,k_3,k_4)\)。
所以 \(k_1 = k_2 = k_3 = k_4 = 0\)，即 \(\beta = (0,0,0,0)\)，所以 \(V_1\cap V_2 = \{0\}\)。
综上，\(V = V_1\oplus V_2\)。
3. 已知矩陣 \(A = \begin{pmatrix}2&0\\0&1\end{pmatrix}\)，求 \(A^{10}\)。 - 解：
因為 \(A\) 是對角矩陣，其特徵值為 \(\lambda_1 = 2\)，\(\lambda_2 = 1\)，特徵向量分別為 \(\xi_1=(1,0)\)，\(\xi_2=(0,1)\)。
令 \(P = \begin{pmatrix}1&0\\0&1\end{pmatrix}\)，\(\Lambda = \begin{pmatrix}2&0\\0&1\end{pmatrix}\)，則 \(A = P\Lambda P^{-1}\)（且 \(P^{-1}=P\)）。
根据 \(A^k = P\Lambda^k P^{-1}\)，\(\Lambda^{10} = \begin{pmatrix}2^{10}&0\\0&1^{10}\end{pmatrix}=\begin{pmatrix}1024&0\\0&1\end{pmatrix}\)。 - 所以 \(A^{10} = P\Lambda^{10}P^{-1}=\begin{pmatrix}1&0\\0&1\end{pmatrix}\begin{pmatrix}1024&0\\0&1\end{pmatrix}\begin{pmatrix}1&0\\0&1\end{pmatrix}=\begin{pmatrix}1024&0\\0&1\end{pmatrix}\)。
4. 已知線性空間 \(V\) 的子空間 \(V_1\)，\(V_2\)，\(V_3\)，且 \(V = V_1\oplus V_2\oplus V_3\)，\(\dim(V_1)=2\)，\(\dim(V_2)=1\)，\(\dim(V_3)=3\)，求 \(\dim(V)\)。
解：
根据直和的性質 \(\dim(V)=\dim(V_1)+\dim(V_2)+\dim(V_3)\)。
已知 \(\dim(V_1)=2\)，\(\dim(V_2)=1\)，\(\dim(V_3)=3\)，所以 \(\dim(V)=2 + 1 + 3 = 6\)。
5. 假設在主成分分析中，數據的協方差矩陣 \(A = \begin{pmatrix}2&1\\1&2\end{pmatrix}\)，求數據的主要成分（即對 \(A\) 進行特徵值分解）。
解：
首先，求 \(A\) 的特徵值。
\(\vert\lambda I - A\vert = \begin{vmatrix}\lambda - 2& - 1\\ - 1&\lambda - 2\end{vmatrix}= (\lambda - 2)^2 - 1 = \lambda^2 - 4\lambda + 4 - 1 = \lambda^2 - 4\lambda + 3 = 0\)。
因式分解得 \((\lambda - 1)(\lambda - 3) = 0\)，解得特徵值 \(\lambda_1 = 3\)，\(\lambda_2 = 1\)。
然後，求特徵向量。 - 當 \(\lambda_1 = 3\) 時，解齊次線性方程組 \((\lambda_1 I - A)X = 0\)，即 \(\begin{pmatrix}1& - 1\\ - 1&1\end{pmatrix}\begin{pmatrix}x_1\\x_2\end{pmatrix}=\begin{pmatrix}0\\0\end{pmatrix}\)，得到特徵向量 \(\xi_1 = \begin{pmatrix}1\\1\end{pmatrix}\)，單位化得 \(\eta_1 = \frac{1}{\sqrt{2}}\begin{pmatrix}1\\1\end{pmatrix}\)。
當 \(\lambda_2 = 1\) 時，解齊次線性方程組 \((\lambda_2 I - A)X = 0\)，即 \(\begin{pmatrix}-1& - 1\\ - 1&-1\end{pmatrix}\begin{pmatrix}x_1\\x_2\end{pmatrix}=\begin{pmatrix}0\\0\end{pmatrix}\)，得到特徵向量 \(\xi_2 = \begin{pmatrix}1\\ - 1\end{pmatrix}\)，單位化得 \(\eta_2 = \frac{1}{\sqrt{2}}\begin{pmatrix}1\\ - 1\end{pmatrix}\)。
令 \(P = \begin{pmatrix}\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}\end{pmatrix}\)，\(\Lambda = \begin{pmatrix}3&0\\0&1\end{pmatrix}\)，則 \(A = P\Lambda P^{-1}\)。
特徵值 \(\lambda_1 = 3\) 對應的特徵向量 \(\eta_1\) 方向上的信息是數據的主要成分（因為特徵值越大，對應方向上的方差越大，包含的信息越多）。