机器学习（四）：支持向量机

支持向量机

\hspace{1.68em}SVM 作为一种目标中就考虑到泛化能力的模型，在很多分类场景中并不亚于后面说到的 RF，XGBoost。提出用超平面将不同的分类进行分隔，在超平面一边的样本的标签为 1，另一边样本的标签为 -1，用超平面两侧的支持向量到超平面的距离之和来表示当前模型对样本分类的 “分隔程度”，距离越大，间隔越大，分隔程度越好。

算法过程

线性可分情况

\hspace{1.68em}在这一节中介绍一个超平面进行二分类的场景。给定训练集 $D=\{({\text{x}}_1,y_1),({\text{x}}_2,y_2),\dots ,({\text{x}}_n,y_n)\}$，其中 ${\text{x}}_i\in {\mathbb{R}}^d$，yi∈{−1,+1}y_i \in \{-1, +1\}yi​∈{−1,+1}。 假设存在超平面 $w^{T}x+b=0$ 能完全正确分类所有样本，即：
$$\{\begin{array}{ll}{\text{w}}^T{\text{x}}_i+b\ge +1,& \text{若 }{y}_i=+1,\\ {\text{w}}^T{\text{x}}_i+b\le -1,& \text{若 }{y}_i=-1.\end{array}$$
\hspace{1.68em}可以用一个不等式就描述模型中超平面和不同分类样本的标签之间的关系：
$$y_i({\text{w}}^T{\text{x}}_i+b)\ge 1,\forall i=1,2,\dots ,n.$$
\hspace{1.68em}值得注意的是：那些穿过样本中点的决策边界总满足：${\text{w}}^T{\text{x}}_i+b=1$ 或 ${\text{w}}^T{\text{x}}_i+b=-1$

分隔程度

\hspace{1.68em}在文章的一开始就提到：SVM 用超平面两侧的支持向量到超平面的距离之和来表示当前模型对样本分类的 “分隔程度”，距离越大，间隔越大，分隔程度越好。 这种间隔可以通过两种方式求出来。

---

方式一：
\hspace{1.68em}点到平面的距离公式：向量 $\text{x}$ 到超平面 ${\text{w}}^T\text{x}+b=0$ 的几何距离为： $\frac{|{\text{w}}^T\text{x}+b|}{\Vert w\Vert }.$ 那么不同分类的支持向量到超平面的距离之和为：$\frac{|{\text{w}}^T{\text{x}}_l+b|}{\Vert w\Vert }+\frac{|{\text{w}}^T{\text{x}}_r+b|}{\Vert \text{w}\Vert }=\frac{2}{\Vert \text{w}\Vert }$

---

方式二：
\hspace{1.68em}向量投影定理：一个向量 $\text{a}$ 在另一个向量 $\text{b}$ 方向上的投影长度 d 为：$\text{|}\text{a}\cdot \frac{\text{b}}{\Vert \text{b}\Vert }\text{|}.$
那么不同分类的支持向量到超平面的距离之和为：$({\text{x}}_l-{\text{x}}_r)\cdot \frac{\text{w}}{\Vert \text{w}\Vert }=\text{|}\frac{{\text{w}}^T{\text{x}}_l+b-{\text{w}}^T{\text{x}}_r+b}{\Vert \text{w}\Vert }\text{|}=\frac{2}{\Vert w\Vert }$

---

最大化分隔程度

\hspace{1.68em}SVM 的目标是找到超平面 $(w,b)$，使得 几何间隔 最大，即： $$\underset{\text{w},b}{\max }\frac{2}{\Vert \text{w}\Vert }\text{subject to}{y}_i({\text{w}}^T{x}_i+b)\ge 1,\forall i.$$

等价于：${\min }_{\text{w},b}\frac{1}{2}\Vert \text{w}{\Vert }^2\text{subject to}{y}_i({\text{w}}^T{x}_i+b)\ge 1,\forall i.$

引入拉格朗日乘子
构造拉格朗日函数：
$$\mathcal{L}(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^n{\alpha }_i\left[y_i(w^T{x}_i+b)-1\right],$$
其中 ${\alpha }_i\ge 0$ 是拉格朗日乘子。
对偶问题推导

1. 求极小值（对 $w$ 和 $b$)
   分别对 $w$ 和 $b$ 求偏导并令其为 0：
   $$\frac{\partial \mathcal{L}}{\partial w}=w-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i=0\Rightarrow w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i.$$$$\frac{\partial \mathcal{L}}{\partial b}=-\sum _{i=1}^n{\alpha }_i{y}_i=0\Rightarrow \sum _{i=1}^n{\alpha }_i{y}_i=0.$$

2. 代入拉格朗日函数
   将 $w={\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i$ 代入 $\mathcal{L}$，化简后得到对偶问题：
   $$\underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$
   $$\text{subject to}\sum _{i=1}^n{\alpha }_i{y}_i=0\text{and}{\alpha }_i\ge 0,\forall i.$$
   对偶问题
   SVM 的目标函数（对偶形式）为：
   $$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j⟨x_i,x_j⟩-\sum _{i=1}^n{\alpha }_i\\ \text{subject to}& \sum _{i=1}^n{\alpha }_i{y}_i=0,\\ & {\alpha }_i\ge 0,\forall i=1,2,\dots ,n.\end{array}$$
   其中 $⟨x_i,x_j⟩$ 表示内积 $x_i^T{x}_j$。
   求解该优化问题后，最终的分类超平面为：
   $$f(x)=\text{sign}\left(\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i⟨x_i,x⟩+b^{\ast }\right),$$
   其中 ${\alpha }_i^{\ast }$ 是最优解，$b^{\ast }$ 通过支持向量计算得到。

线性不可分情况

软间隔

\hspace{1.68em}在给定标签的训练集中，可能会出现线性不可分的情况，此时就需要引入软间隔这个概念，此时容忍小部分训练误差，通过罚函数法将松弛变量罚到目标函数中，下面引入的 C 实际上是一个超参数，$C{\sum }_{i=1}^n{\xi }_i$ 也可称为正则化项。目标函数变为：
$$\underset{w,b,\xi }{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n{\xi }_i\text{subject to}{y}_i(w^T{x}_i+b)\ge 1-{\xi }_i,{\xi }_i\ge 0.$$

核函数扩展

核函数（处理非线性问题）
将内积 $⟨x_i,x_j⟩$ 替换为核函数 $K(x_i,x_j)$，目标函数变为：
$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^n{\alpha }_i.$$

通过上述步骤，SVM 从最大化几何间隔出发，推导出最终的凸二次规划问题，确保全局最优解的存在性。