【课堂笔记】稳定性和反向传播误差

浮点数运算

对于两个算法，我们总是希望比较：

• 其中一个算法比另一个快吗（fast）
• 其中一个算法比另一个更稳健吗（robust）

通常在运算浮点数时，会产生溢出和精度不足等问题，这是影响算法性能的一个重要原因。所以我们会去统计算法进行的浮点数运算次数（flops）

算法条件数

如果将要解决的问题定义为$f:X\to Y$，而算法实现为$\tilde{f}:X\to Y$，如果算法$\tilde{f}$是精确的(accuracy)，如果对任意$x\in X$，
$$\frac{\Vert \tilde{f}(x)-f(x)\Vert }{\Vert f(x)\Vert }=O(ϵ)$$

记$\delta f=f(x+\delta x)-f(x)$，绝对条件数(absolute condition number)记为：
$$\hat{k}=\underset{\delta x\ne 0}{\sup }\frac{\Vert \delta f\Vert }{\Vert \delta x\Vert }$$
相对条件数(relative condition number)记为：
$$k=\underset{\delta x\ne 0}{\sup }\frac{\Vert \delta f\Vert }{\Vert f(x)\Vert }/\frac{\Vert \delta x\Vert }{\Vert x\Vert }$$

假设$f$是可微的，$x\in {\mathbb{R}}^m,y\in {\mathbb{R}}^n$, $\partial x\to 0$，我们可以得到雅可比矩阵：
$$J(x)=\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& \cdots & \frac{\partial f_1}{\partial x_m}\\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& \cdots & \frac{\partial f_2}{\partial x_m}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f_n}{\partial x_1}& \frac{\partial f_n}{\partial x_2}& \cdots & \frac{\partial f_n}{\partial x_m}\end{array}\right]$$
于是
$$\begin{array}{rl}\hat{k}& =\Vert J(x)\Vert \\ k& =\Vert J(x)\Vert /\frac{\Vert f(x)\Vert }{\Vert x\Vert }\end{array}$$

一个数值算法被称为 stable，如果它在计算过程中对舍入误差不敏感，即：算法得到的结果近似于某个接近原始输入的问题的精确解。

• 数学描述：设真实问题是$f(x)$，算法解为$\tilde{f}(x)$，存在一个微小扰动$\delta x$，使得$\tilde{f}(x)\approx f(x+\delta x)$

一个算法被称为 backward stable，如果它计算出的结果是某个微小扰动后输入的精确解。

• 数学描述：算法输出$\tilde{f}(x)=f(\tilde{x})$，其中$\tilde{x}=x+\delta (x)$
  换句话说，我没有精确解出$f(x)$，但我精确解出了一个非常接近的问题$\tilde{f}(x)$

例子

外积是stable的，但不是backward stable的
$$\widetilde{A_{ij}}=x{y}^{\ast }(1+{ϵ}_{\ast })=A_{ij}(1+{ϵ}_{\ast })$$
然而，得到的$\tilde{A}$不是秩1的，无法表示为下面的形式（某个扰动后向量的精确外积）
$$\tilde{A}=(x+\delta x)(y+\delta y{)}^{\ast }(\times )$$

内积是backward stable的：
$$\begin{array}{rl}{\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]}^{\top }\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]& =x_1{y}_1(1+{ϵ}_{\ast }^{(1)})+x_2{y}_2(1+{ϵ}_{\ast }^{(2)})\\ & ={\left[\begin{array}{c}{x}_1(1+{ϵ}_{\ast }^{(1)})(1+{ϵ}_{+}^{(1)})\\ x_2(1+{ϵ}_{\ast }^{(2)})(1+{ϵ}_{+}^{(2)})\end{array}\right]}^{\top }\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]\end{array}$$

通过以下方法解方程$Ax=b$是backward stable的：

• 通过Householder方法得到$A=QR$
• $y=Q^{\ast }b$
• $x=R^{-1}y$

证明：
显然后两步是backward stable的，$(\tilde{Q}+\delta Q)\tilde{y}=b$，$(\tilde{R}+\delta R)\tilde{x}=\tilde{y}$。
于是
$$\begin{array}{rl}b& =(\tilde{Q}+\delta Q)(\tilde{R}+\delta R)\tilde{x}\\ & =(\tilde{Q}\tilde{R}+\delta Q\tilde{R}+\tilde{Q}\delta R+\delta Q\delta R)\tilde{x}\end{array}$$
这里$\tilde{A}=\tilde{Q}\tilde{R}$，$\delta A=\delta Q\tilde{R}+\tilde{Q}\delta R+\delta Q\delta R$，$\frac{\Vert \delta A\Vert }{\Vert A\Vert }=O({ϵ}_{\text{math}})$