《机器学习数学基础》补充资料：求解线性方程组的克拉默法则

《机器学习数学基础》中并没有将解线性方程组作为重点，只是在第2章2.4.2节做了比较完整的概述。这是因为，如果用程序求解线性方程组，相对于高等数学教材中强调的手工求解，要简单得多了。

本文是关于线性方程组的拓展，供对此有兴趣的读者阅读。

1. 线性方程组的解位于一条直线

不失一般性，这里讨论三维空间的情况，对于多维空间，可以由此外推，毕竟三维空间便于想象和作图说明。

设矩阵 $A=\left[\begin{array}{ccc}1& 2& 4\\ 1& 3& 5\end{array}\right]$ ，线性方程

$$\left[\begin{array}{ccc}1& 2& 4\\ 1& 3& 5\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]\text{\hspace{1em}(1.1)}$$

的解是：

$$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right],\left[\begin{array}{c}2\\ 1\\ -1\end{array}\right],\left[\begin{array}{c}4\\ 2\\ -2\end{array}\right],\cdots$$

可以将上述解写成：

$$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\alpha \left[\begin{array}{c}2\\ 1\\ -1\end{array}\right]\text{\hspace{1em}(1.2)}$$

其中 $\alpha$ 为任意数。

很显然，（1.1）式是一条通过坐标系原点的直线。推而广之，可以说 $Ax=0$ 的解集是一条过原点的直线（记作：$l_1$ ）。

如果是非齐次线性方程组，例如：

$$\left[\begin{array}{ccc}1& 2& 4\\ 1& 3& 5\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}4\\ 5\end{array}\right]\text{\hspace{1em}(1.3)}$$

解为：

$$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}2\\ 1\\ 0\end{array}\right],\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right],\left[\begin{array}{c}4\\ 2\\ -1\end{array}\right],\cdots$$

这些点的集合是一条不过原点的直线。即 $Ax=b$ 的解集是一条不过原点的直线（记作：$l_2$ ）。并且，这条直线与 $Ax=0$ 的解集所在直线平行。对此结论证明如下：

设 $u$ 和 $v$ 是 $Ax=b$ 的两个解，则：

$$\begin{array}{rl}& Au=b\\ & Av=b\end{array}$$

上面二式相减，得：

$$A(u-v)=0$$

即 $u-v$ 是 $Ax=0$ 的一个解。

$u$ 和 $v$ 是 $Ax=b$ 解集对应的直线上（ $l_2$ ）的两个点，则 $u-v$ 的方向必然在直线 $l_2$ 的方向上（或者在直线 $l_2$ 上，或者在于 $l_2$ 平行的直线上）。

又因为 $u-v$ 也是 $Ax=0$ 的解，所以 $u-v$ 在过原点的直线 $l_1$ 上。

因此，$l_1$ 平行于 $l_2$ ，即 $Ax=b$ 的解集所在直线不过原点，且平行于过原点的 $Ax=0$ 的解集所在直线。

2. 克拉默法则

对《机器学习数学基础》第2章2.4.2节中克拉默法则进行证明。

克拉默法则（Cramer’s rule）利用行列式计算 $Ax=b$ 的解，其中 $A$ 是 $n\times n$ 方阵。

由于克拉默法则的运行效率不如高斯消元法，所以不能用于大数量方程的线性方程组，通常只用于理论推导${}^{[2]}$ ，从这个角度看，此法则除了具有理论意义之外，在计算上完全可以不用。

下面的证明来自于参考文献[2]，根据需要做了适当修改。

克拉默法则

设 $n$ 阶方阵 $A$ ，$n$ 维向量 $b$ ，将 $A$ 的第 $i$ 列以 $b$ 替换，并记作 $A_i(b)$ ，用列向量表示为：

$$A_i(b)=\left[\begin{array}{ccccccc}{a}_1& \cdots & a_{i-1}& b& a_{i+1}& \cdots & a_n\end{array}\right]$$

若 $A$ 可逆，即 $|A|\ne 0$ ，则 $Ax=b$ 的解：

$$x_i=\frac{|A_i(b)|}{|A|},(i=1,2,\cdots ,n)$$

证明

将原方程 $Ax=b$ 转化为等价的 $AX=B$ ，其中 $X,B$ 都是 $n\times n$ 矩阵，将单位矩阵以列向量的形式表示为：$I=\left[\begin{array}{ccc}{e}_1& \cdots & e_n\end{array}\right]$ 。

以列向量 $x$ 取代 $I$ 的第 $i$ 列，再左乘 $A$ ：

$${AI}_i(x)=A\left[\begin{array}{ccccc}{e}_1& \cdots & x& \cdots & e_n\end{array}\right]$$

参考“对矩阵乘法深入理解”中以列为单元进行矩阵乘法，上式可以进一步变换：

$$\begin{array}{rl}{AI}_i(x)& =\left[\begin{array}{ccccc}A{e}_1& \cdots & Ax& \cdots & A{e}_n\end{array}\right]\\ & =\left[\begin{array}{ccccc}{a}_1& \cdots & b& \cdots & a_n\end{array}\right]\\ & =A_i(b)\end{array}$$

上式即为 $AX=B$ ，其中 $X=I_i(x),B=A_i(b)$

利用矩阵乘积的行列式性质，得：

$$|AX|=|A||X|=|A||I_i(x)|=|A_i(b)|$$

以余子式展开计算行列式，得：$|I_i(x)|=x_i$ （参阅[3]） ，所以，$|A|x_i=|A_i(b)|$ 。

若 $|A|\ne 0$ ，则：

$$x_i=\frac{|A_i(b)|}{|A|}$$

3. 存在性与唯一性

矩阵 $A$ 是 $m\times n$ ，对于任意 $m$ 维的非零向量 $b$ ，线性方程组 $Ax=b$ 解的唯一性和存在性讨论${}^{[4]}$。

存在性

$Ax=b$ 有解，当且仅当 $b^{T}y=0$ ，其中 $y$ 为满足 $A^{T}y=0$ 的任何向量。

或曰：

若 $b$ 正交于左零空间 $N(A^T)$ ，则 $Ax=b$ 有解，反之亦然。

唯一性

$Ax=b$ 有唯一解（若解存在），当且仅当 $Ax=0$ 有唯一解 $x=0$ 。

或曰：

若矩阵 $A$ 零空间 $N(A)$ 仅含零向量，则 $Ax=b$ 有唯一解，反之亦然。

参考文献

[1]. https://ccjou.wordpress.com/2009/03/20/axb-和-ax0-的解集合有什麼關係？/

[2]. https://ccjou.wordpress.com/2009/11/10/克拉瑪公式的證明/

[3]. 对 $|I_i(x)|=x_i$ ，以 $4\times 4$ 矩阵为例，当 $i=2$ 时：

$$\left|\begin{array}{cccc}1& x_1& 0& 0\\ 1& x_2& 0& 0\\ 1& x_3& 0& 0\\ 1& x_4& 0& 0\end{array}\right|=x_2\left|\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& )& 1\end{array}\right|=x_1\cdot 1=x_2$$

[4]. https://ccjou.wordpress.com/2011/06/07/線性方程解的存在性與唯一性/