机器学习的数学基础：线性模型

线性模型

线性模型的基本形式为：

$$f\left(\mathbf{x}\right)={\mathbf{\omega }}^{\text{T}}\mathbf{x}+b$$

回归问题

利用最小二乘法，得到$\mathbf{\omega }$和$b$的参数估计$
\boldsymbol{\hat{\omega}}=\left(\boldsymbol{\omega};b\right)$：

$${\hat{\mathbf{\omega }}}^{\ast }=\underset{\hat{\mathbf{\omega }}}{\mathrm{argmin}}{\left(\mathbf{y}-\mathbf{X}\hat{\mathbf{\omega }}\right)}^{\text{T}}\left(\mathbf{y}-\mathbf{X}\hat{\mathbf{\omega }}\right)$$

其中：

$$\mathbf{X}=\left(\begin{array}{cc}{\mathbf{x}}_1^{\text{T}}& 1\\ {\mathbf{x}}_2^{\text{T}}& 1\\ ⋮& ⋮\\ {\mathbf{x}}_{\mathbf{m}}^{\text{T}}& 1\end{array}\right)$$

由于在现实任务中${\mathbf{X}}^{\text{T}}\mathbf{X}$不一定为正定矩阵或者满秩矩阵，导致参数估计的不唯一，所以有时候需要引入正则项进行选取解。

广义线性模型

对于单调可微函数$g$,令：

$$y=g^{-1}({\mathbf{\omega }}^{\text{T}}\mathbf{x}+b)$$

称为广义线性模型

二分类

对数几率回归与极大似然估计

对于二分类问题，其目标为： y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1},由于理想的单位跃阶函数不连续，这里引入对数几率函数(logistic function):

$$y=\frac{1}{1+e^{-z}}$$

带入广义线性模型：

$$\ln \frac{y}{1-y}={\mathbf{\omega }}^{\text{T}}\mathbf{x}+b$$

其中，称$\frac{y}{1-y}$为"几率"。

对参数估计,使用极大似然估计：

$$\mathcal{L}=\max \sum _{i=1}^m\ln p\left(y_i|{\mathbf{x}}_i;\mathbf{\omega },b\right)$$

其中，

$$p\left(1|{\mathbf{x}}_i;\mathbf{\omega },b\right)=\frac{{\mathbf{\omega }}^{\text{T}}\mathbf{x}+b}{1+e^{-({\mathbf{\omega }}^{\text{T}}\mathbf{x}+b)}}$$

该式可以由经典的凸优化算法求得。

LDA

线性判别分析(Linear Discriminant Analysis)是一个朴素的分类方法：

通过投影将高维数据映射到低维空间，使得同类样本的投影尽可能紧凑、不同类样本的投影尽可能分离，从而实现分类。

给定二分类数据集$D=\{({\mathbf{x}}_i,y_i){\}}_{i=1}^m$, y i ∈ { 0 , 1 } y_i \in \{0,1\} yi​∈{0,1}，定义：

• $X_i$：第 i ∈ { 0 , 1 } i \in \{0,1\} i∈{0,1} 类样本的集合
• ${\mathbf{\mu }}_i$：第 $i$类样本的均值向量
• ${\mathbf{\Sigma }}_i$：第 $i$类样本的协方差矩阵

若将数据投影到直线$\mathbf{w}$ 上，两类样本中心的投影为 $ \boldsymbol{w}^{\mathrm{T}\boldsymbol{\mu}_0$、$\boldsymbol{w}}\mathrm{T}\boldsymbol{\mu}_1$，协方差投影为$\boldsymbol{w}^{\mathrm{T}\boldsymbol{\Sigma}_0\boldsymbol{w}$、$\boldsymbol{w}}\mathrm{T}\boldsymbol{\Sigma}_1\boldsymbol{w}$（均为实数，因投影到一维空间 ）。

得到构造的最优化函数：

$$\max \mathcal{J}=\max \frac{\Vert {\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_0-{\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_1{\Vert }_2^2}{{\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_0\mathbf{w}+{\mathbf{w}}^{\mathrm{T}}{\mathbf{\Sigma }}_1\mathbf{w}}$$

为了简化表达，引入散度矩阵：

• 类内散度矩阵（${\mathbf{S}}_w$）：
  整合两类协方差信息，反映同类样本的离散程度：
  $${\mathbf{S}}_w={\mathbf{\Sigma }}_0+{\mathbf{\Sigma }}_1=\sum _{\mathbf{x}\in X_0}(\mathbf{x}-{\mathbf{\mu }}_0)(\mathbf{x}-{\mathbf{\mu }}_0{)}^{\mathrm{T}}+\sum _{\mathbf{x}\in X_1}(\mathbf{x}-{\mathbf{\mu }}_1)(\mathbf{x}-{\mathbf{\mu }}_1{)}^{\mathrm{T}}$$

• 类间散度矩阵（${\mathbf{S}}_b$）：
  反映两类中心的离散程度，仅与均值向量有关：
  $${\mathbf{S}}_b=({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^{\mathrm{T}}$$

代入目标函数后，$\mathcal{J}$ 可重写为“广义瑞利商”（generalized Rayleigh quotient）：

$$\mathcal{J}=\frac{{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_b\mathbf{w}}{{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_w\mathbf{w}}$$

多分类问题

多分类问题与二分类类似，常见的处理方法是分组拆解为多个二分类问题。

“拆解法”

包括：一对一，一对多，多对多

LDA

KaTeX parse error: Got function '\boldsymbol' with no arguments as subscript at position 68: …\boldsymbol{S}_\̲b̲o̲l̲d̲s̲y̲m̲b̲o̲l̲{b}\boldsymbol{…