机器学习14——线性回归

线性回归

回归问题概述

回归是监督学习的一种，用于预测连续值输出。与分类问题（离散输出）不同，回归模型建立输入变量与连续输出变量之间的关系。

• 核心目标：找到最佳拟合模型，最小化预测值与真实值的误差。
• 典型应用：房价预测、销量预测、温度预测等。

线性回归模型

基本形式

对于输入特征 $\mathbf{x}=[x_1,x_2,\dots ,x_d{]}^T$，线性回归模型为：
$$f(\mathbf{x})=w_1{x}_1+w_2{x}_2+\cdots +w_d{x}_d+b={\mathbf{w}}^T\mathbf{x}+b$$

• $\mathbf{w}$：权重向量，表示各特征的重要性。
• $b$：偏置项。

最小二乘法（Least Squares）

目标

最小化预测误差的平方和：
$$E(\mathbf{w},b)=\sum _{i=1}^m(y_i-f({\mathbf{x}}_i){)}^2=\sum _{i=1}^m(y_i-{\mathbf{w}}^T{\mathbf{x}}_i-b{)}^2$$

• $m$：样本数量。
• $y_i$：真实值。

求解（单变量线性回归）

对 $w$ 和 $b$ 求偏导并令导数为零：
$$\begin{array}{rl}& \frac{\partial E_{(w,b)}}{\partial w}=2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m\left(y_i-b\right)x_i\right)=0\\ & \frac{\partial E_{(w,b)}}{\partial b}=2\left(mb-\sum _{i=1}^m\left(y_i-w{x}_i\right)\right)=0\end{array}$$
得到：
$$\begin{array}{rl}w& =\frac{{\sum }_{i=1}^m{y}_i\left(x_i-\bar{x}\right)}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}{\left({\sum }_{i=1}^m{x}_i\right)}^2}\\ b& =\frac{1}{m}\sum _{i=1}^m\left(y_i-w{x}_i\right)\bar{x}=\frac{1}{m}\sum _{i=1}^m{x}_i\end{array}$$

多变量线性回归

$$f\left({\mathbf{x}}_i\right)=w_1{x}_{i1}+w_2{x}_{i2}+\dots +w_d{x}_{id}+b$$

写成向量形式：
$$f\left({\mathbf{x}}_i\right)={\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b$$
表示成矩阵：
$$\mathbf{y}=\mathbf{X}\hat{\mathbf{w}}$$
其中：

• $\mathbf{X}$：设计矩阵（每行一个样本，最后一列为1）。

  $$\mathbf{X}=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& \dots & x_{1d}& 1\\ x_{21}& x_{22}& \dots & x_{2d}& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m1}& x_{m2}& \dots & x_{md}& 1\end{array}\right)=\left(\begin{array}{cc}{\mathbf{x}}_1^{\mathrm{T}}& 1\\ {\mathbf{x}}_2^{\mathrm{T}}& 1\\ ⋮& ⋮\\ {\mathbf{x}}_m^{\mathrm{T}}& 1\end{array}\right)$$

• $\hat{\mathbf{w}}=[\mathbf{w};b]$：扩展权重向量。

求解：
$$\begin{array}{rl}{E}_{\hat{\mathbf{w}}}=& (\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})\\ =& y^{T}y-y^{T}X\hat{w}-{\hat{w}}^T{X}^{T}y+{\hat{w}}^T{X}^{T}X\hat{w}\\ & -2X^{T}y+2X^{T}X\hat{w}\end{array}$$

令 $E_{\hat{\mathbf{w}}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$ ，对 $\hat{\mathbf{w}}$ 求导得到

$$\begin{array}{ll}& \frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})=0\\ & \downarrow \\ \text{ analytical }& \hat{\mathbf{w}}={\left({\mathbf{X}}^{\mathrm{T}}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{y}\\ \text{ solution: }& \end{array}$$

最小二乘法局限性：

• 最小二乘法的损失函数有可能会造成模型过拟合。

• 解析解中 ${\mathbf{X}}^{\mathrm{T}}\mathbf{X}$ 有可能不是满秩矩阵，逆矩阵不存在

• 样本的特征数远远超过样本数，这样，$\hat{w}$ 会有多个解。

正则化方法

$$\begin{array}{rl}& {\mathrm{L}}_1\text{-norm: }\Vert \mathbf{w}{\Vert }_1=\left|w_1\right|+\left|w_2\right|+\dots +\left|w_d\right|=\sum _{i=1}^d\left|w_i\right|\\ & {\mathrm{L}}_2\text{-norm: }\Vert \mathbf{w}{\Vert }_2=\sqrt{w_1^2+w_2^2+\dots +w_d^2}={\left(\sum _{i=1}^d{w}_i^2\right)}^{\frac{1}{2}}\end{array}$$

岭回归（Ridge Regression）

通过L2正则化防止过拟合：
$$\underset{\mathbf{w}}{\min }\sum _{i=1}^m(y_i-{\mathbf{w}}^T{\mathbf{x}}_i{)}^2+\alpha \Vert \mathbf{w}{\Vert }_2^2$$

• $\alpha$：正则化强度，控制权重收缩。
• 特点：所有权重均被压缩，但不会为零。

Lasso回归（Lasso Regression）

通过L1正则化实现特征选择：
$$\underset{\mathbf{w}}{\min }\sum _{i=1}^m(y_i-{\mathbf{w}}^T{\mathbf{x}}_i{)}^2+\alpha \Vert \mathbf{w}{\Vert }_1$$

• 特点：部分权重被压缩为零，适合高维数据。

岭回归（Ridge Regression）

求解：
$$
\begin{aligned}
& E_{\hat{\boldsymbol{w}}}=(\boldsymbol{y}-\mathbf{X} \hat{\boldsymbol{w}})^{\mathrm{T}}(\boldsymbol{y}-\mathbf{X} \hat{\boldsymbol{w}})+\lambda|\hat{\boldsymbol{w}}|2^2 \lambda>0 \
& \quad=(\boldsymbol{y}-\mathbf{X} \hat{\boldsymbol{w}})^{\mathrm{T}}(\boldsymbol{y}-\mathbf{X} \hat{\boldsymbol{w}})+\lambda \hat{\boldsymbol{w}}^{\mathrm{T}} \hat{\boldsymbol{w}} \
& =(\boldsymbol{y}-\mathbf{X} \hat{\boldsymbol{w}})^{\mathrm{T}}(\boldsymbol{y}-\mathbf{X} \hat{\boldsymbol{w}})+\lambda \hat{\boldsymbol{w}}^{\mathrm{T}} \boldsymbol{I} \hat{\boldsymbol{w}} \
& \begin{array}{c}
\frac{\partial E{\hat{\boldsymbol{w}}}}{\partial \hat{\boldsymbol{w}}}=2 \mathbf{X}^{\mathrm{T}}(\mathbf{X} \hat{\boldsymbol{w}}-\boldsymbol{y})+\lambda \boldsymbol{I} \hat{\boldsymbol{w}}=0 \
\downarrow
\end{array} \
& \begin{array}{c}
\downarrow \
\text { analytical solution: } \quad \hat{\boldsymbol{w}}=\left(\boldsymbol{X}^T \boldsymbol{X}+\lambda \boldsymbol{I}\right)^{-1} \boldsymbol{X}^T \boldsymbol{y} \

\end{array}
\end{aligned}
$$

• 我们不难发现$\left({\mathbf{X}}^{\mathbf{T}}\mathbf{X}+\lambda \mathbf{I}\right)$是满秩矩阵, $\hat{\mathbf{w}}$ 可以得到解析解

• 因此，岭回归可以解决特征数大于样本数的问题

Lasso回归（Lasso Regression）

$$\begin{array}{rl}& \text{ loss function: }\\ & \begin{array}{rl}& :E_{\hat{\mathbf{w}}}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})+\lambda \Vert \hat{\mathbf{w}}{\Vert }_1\lambda >0\\ & \Vert \mathbf{w}{\Vert }_1=\left|w_1\right|+\left|w_2\right|+\dots +\left|w_d\right|=\sum _{i=1}^d\left|w_i\right|\end{array}\end{array}$$

这个式子可没法直接求导求解，因为：

• 函数在某点可导条件：

  1）函数在该点连续

  2）函数在该点左右两侧导数都存在并且相等。

  而绝对值函数却不满足这个条件：

$$\begin{array}{c}y=|\omega |,\omega \in R\\ y^{\prime }\left(0^{-}\right)=-1,y^{\prime }\left(0^{+}\right)=1\end{array}$$

• 采用一种叫做proximal gradient descent method(近端梯度下降法) 去求解。这里不做介绍。
• 同样可以解决特征数大于样本数的问题

稀疏解与特征选择

• 稀疏性：L1 正则化倾向于将不重要特征的权重精确压缩为零。
• 特征选择：若 $w_j=0$，则特征 $x_j$ 被模型忽略，实现自动特征选择。
• 示例：
  • 原始模型：$f(\mathbf{x})=0.3x_1+1.7x_2-0.5x_3+4$
  • Lasso 后：$f(\mathbf{x})=0.0x_1+1.9x_2+0.0x_3+3.5$ → 特征 $x_1$ 和 $x_3$ 被剔除。

**attention：**Lasso和岭回归的区别很好理解，在优化过程中，最优解为函数等值线与约束空间的交集，正则项可以看作是约束空间。可以看出二范的约束空间是一个球形，一范的约束空间是一个方形，这也就是二范会得到很多参数接近0的值，而一范会尽可能非零参数最少。