机器学习12——支持向量机中

支持向量机中

拉格朗日对偶方法（Lagrange Duality）

初始问题（Primal form）

目标是：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$$
约束条件：
$$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,\forall i=1,\dots ,l$$

引入拉格朗日乘子法（Lagrangian）

这是一个典型的带有不等式约束的优化问题，我们引入拉格朗日函数：

定义拉格朗日函数（Lagrangian）：
$$L(\mathbf{w},b;\mathbf{\lambda })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _{i=1}^l{\lambda }_i\left[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1\right]$$

为什么可以把原问题变成:
$$\underset{w,b}{\min }\underset{\alpha \ge 0}{\max }L(w,b,\alpha )$$
这是凸优化中的鞍点问题（Saddle Point）。原因有两个：

1. 函数关于 $w,b$ 是凸的，因为 $|w{|}^2$ 是一个凸函数；
2. 函数关于 $\alpha$ 是线性的，也就是说关于 $\alpha$ 是凹的（线性函数既是凸也是凹）；

所以这个问题是一个凸-凹问题（convex-concave problem），满足一些条件（例如Slater条件）后，就满足所谓的强对偶性（后面再讲）。

于是，原问题（有约束）可以等价写成一个无约束的 min-max 问题。

其中每个 ${\lambda }_i\ge 0$ 是拉格朗日乘子。我们需要Minimize it w.r.t $\mathbf{w}\&\mathbf{b}$, while maximize it w.r.t. $\Lambda$. 这是一个minmax问题。

带不等式约束的拉格朗日乘子法见附录

min-max问题见附录

根据min-max和max-min相等的成立条件：

我们将min-max问题转化为max-min问题：
$$\underset{w,b}{\min }\underset{\alpha \ge 0}{\max }L(w,b,\alpha )\Rightarrow \underset{\alpha \ge 0}{\max }\underset{w,b}{\min }L(w,b,\alpha )$$

$$\begin{array}{cl}\text{ Maximize }& L\left({\mathbf{w}}^{\ast },b^{\ast };\Lambda \right)\\ \text{ Subject to }& {\nabla }_{\mathrm{w},b}L(\mathbf{w},b;\Lambda )=0\\ & {\lambda }_i\ge 0,i=1,\mathrm{K},l\end{array}$$

max在外层，min在内层，因此我们需要先求内层导数，得到最小值，再带入式子求外层的最大值。

为什么可以交换 $\min$ 和 $\max$ 的顺序？

这就用到了凸优化中的强对偶性理论：

• 弱对偶性总是成立：$\min \max \ge \max \min$
• 强对偶性在满足一定条件（凸性 + Slater 条件）时成立：$\min \max =\max \min$

SVM满足这些条件，所以我们可以安全地交换顺序。

求偏导数得到最优解：

$$\begin{array}{c}L(\mathbf{w},b;\Lambda )=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _{i=1}^l{\lambda }_i{y}_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)+\sum _{i=1}^l{\lambda }_i\\ {\nabla }_{\mathrm{w}}L(\mathbf{w},b;\Lambda )=\mathbf{w}-\sum _{i=1}^l{\lambda }_i{y}_i{\mathbf{x}}_i=0⟶{\mathbf{w}}^{\ast }=\sum _{i=1}^l{\lambda }_i{y}_i{\mathbf{x}}_i\\ {\nabla }_{b}L(\mathbf{w},b;\Lambda )=\sum _{i=1}^l{\lambda }_i{y}_i=0⟶\sum _{i=1}^l{\lambda }_i{y}_i=0\end{array}$$

构建对偶问题（Dual Problem）

将 ${\mathbf{w}}^{\ast }$ 代入原始拉格朗日函数，得到一个只与 ${\lambda }_i$ 有关的函数：
$$\begin{array}{rl}L\left({\mathbf{w}}^{\ast },b^{\ast };\Lambda \right)& =\frac{1}{2}{\left(\sum _{i=1}^l{\lambda }_i{y}_i{\mathbf{x}}_i\right)}^T\sum _{i=1}^l{\lambda }_i{y}_i{\mathbf{x}}_i-{\left(\sum _{i=1}^l{\lambda }_i{y}_i{\mathbf{x}}_i\right)}^T\sum _{i=1}^l{\lambda }_i{y}_i{\mathbf{x}}_i-b\sum _{i=1}^l{\lambda }_i{y}_i+\sum _{i=1}^l{\lambda }_i\\ & =\sum _{i=1}^l{\lambda }_i-\frac{1}{2}{\left(\sum _{i=1}^l{\lambda }_i{y}_i{\mathbf{x}}_i\right)}^T\sum _{i=1}^l{\lambda }_i{y}_i{\mathbf{x}}_i\\ & =\sum _{i=1}^l{\lambda }_i-\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\lambda }_i{\lambda }_j{y}_i{y}_j<{\mathbf{x}}_i{\mathbf{x}}_j>\end{array}$$
对偶目标函数：
$$L({\mathbf{w}}^{\ast },b;\mathbf{\lambda })=\sum _{i=1}^l{\lambda }_i-\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\lambda }_i{\lambda }_j{y}_i{y}_j⟨{\mathbf{x}}_i,{\mathbf{x}}_j⟩$$
即我们要最大化：
$$\underset{\mathbf{\lambda }}{\max }F(\mathbf{\lambda })=\sum _{i=1}^l{\lambda }_i-\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\lambda }_i{\lambda }_j{y}_i{y}_j⟨{\mathbf{x}}_i,{\mathbf{x}}_j⟩$$
对偶问题的约束条件：
$${\lambda }_i\ge 0,\sum _{i=1}^l{\lambda }_i{y}_i=0$$
这是一个凸二次规划问题，具有全局最优解。

最终解的表达

将 ${\mathbf{w}}^{\ast }$ 和 $\sum {\lambda }_i{y}_i=0$ 代入 $L$，消去 $\mathbf{w}$ 和 $b$：
$$L({\mathbf{w}}^{\ast },b^{\ast },\Lambda )=\frac{1}{2}{\Vert \sum _{i=1}^l{\lambda }_i{y}_i{\mathbf{x}}_i\Vert }^2-\sum _{i=1}^l{\lambda }_i{y}_i\left({\left(\sum _{j=1}^l{\lambda }_j{y}_j{\mathbf{x}}_j\right)}^T{\mathbf{x}}_i+b\right)+\sum _{i=1}^l{\lambda }_i$$
利用 $\sum {\lambda }_i{y}_i=0$，含 $b$ 的项消失，化简后：
$$L(\Lambda )=\sum _{i=1}^l{\lambda }_i-\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\lambda }_i{\lambda }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j$$
对偶问题的形式

最大化 $L(\Lambda )$ 受限于 ${\lambda }_i\ge 0$ 和 $\sum {\lambda }_i{y}_i=0$：
$$\underset{\Lambda }{\max }\left(\sum _{i=1}^l{\lambda }_i-\frac{1}{2}\sum _{i,j}{\lambda }_i{\lambda }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\right)\text{s.t.}{\lambda }_i\ge 0,\sum _{i=1}^l{\lambda }_i{y}_i=0$$
写成矩阵形式（定义格拉姆矩阵 $D_{ij}=y_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j$）：
$$\underset{\Lambda }{\max }\left({\Lambda }^{T}1-\frac{1}{2}{\Lambda }^{T}D\Lambda \right)$$
如何求解 $\lambda$？

这是一个带线性约束的二次规划（QP）问题，常用解法包括：

（1）序列最小优化（SMO）算法

• 每次选择两个变量 ${\lambda }_i$ 和 ${\lambda }_j$，固定其他变量，解析求解子问题。
• 通过反复迭代满足 KKT 条件（例如，${\lambda }_i=0$ 对应非支持向量，${\lambda }_i>0$ 对应支持向量）。

（2）数值优化方法

• 使用梯度上升法或内点法求解，但需处理约束 ${\lambda }_i\ge 0$ 和 $\sum {\lambda }_i{y}_i=0$。

（3）KKT 条件

解需满足以下条件：
$$\{\begin{array}{l}{\lambda }_i\ge 0,\\ y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1\ge 0,\\ {\lambda }_i\left(y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1\right)=0.\end{array}$$

• 支持向量：${\lambda }_i>0$ 对应的样本点满足 $y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)=1$（位于间隔边界上）。
• 非支持向量：${\lambda }_i=0$，对模型无贡献。

对于带不等式约束的凸优化问题，最优解必须满足 KKT 条件：

1. 原始可行性（Primal Feasibility）：
   $$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1\ge 0,\forall i$$

2. 对偶可行性（Dual Feasibility）：
   $${\lambda }_i\ge 0,\forall i$$

3. 梯度为零（Stationarity）：
   $${\nabla }_{\mathbf{w}}L=0\text{和}{\nabla }_{b}L=0$$

4. 互补松弛（Complementary Slackness）：
   $${\lambda }_i\left(y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1\right)=0,\forall i$$

解得 ${\lambda }_i^{\ast }$ 后，我们可以得到：

• 权重向量：
  $${\mathbf{w}}^{\ast }=\sum _{i=1}^l{\lambda }_i^{\ast }{y}_i{\mathbf{x}}_i$$

• 偏置 $b^{\ast }$：

  对于任意满足 $0<{\lambda }_i^{\ast }<C$ 的支持向量（$i$ 是支持向量），我们有：
  $$b^{\ast }=y_i-{\mathbf{w}}^{\ast T}{\mathbf{x}}_i$$

SVM 分类决策函数

在支持向量机（SVM）中，最终的分类决策函数可以表示为：
$$f(\mathbf{x})=\text{sgn}\left(\sum _{{\lambda }_i^{\ast }\ne 0}{\lambda }_i^{\ast }{y}_i⟨{\mathbf{x}}_i,\mathbf{x}⟩+b^{\ast }\right)$$
其中：

• ${\lambda }_i^{\ast }$ 是拉格朗日乘子的最优解（仅对支持向量非零）。
• $y_i$ 是支持向量的标签（$+1$ 或 $-1$）。
• $⟨{\mathbf{x}}_i,\mathbf{x}⟩$ 是支持向量 ${\mathbf{x}}_i$ 和新样本 $\mathbf{x}$ 的内积（相似性度量）。
• $b^{\ast }$ 是偏移项（bias）。

分类过程详解

(1) 计算新样本与支持向量的相似性
$$⟨{\mathbf{x}}_i,\mathbf{x}⟩={\mathbf{x}}_i^T\mathbf{x}$$

• 这是 点积（内积），衡量 $\mathbf{x}$ 与支持向量 ${\mathbf{x}}_i$ 的相似性。
• 在核函数扩展中，可以替换为 $K({\mathbf{x}}_i,\mathbf{x})$（如高斯核、多项式核）。

(2) 加权求和
$$\sum _{{\lambda }_i^{\ast }\ne 0}{\lambda }_i^{\ast }{y}_i⟨{\mathbf{x}}_i,\mathbf{x}⟩$$

• 每个支持向量 ${\mathbf{x}}_i$ 的贡献由其 拉格朗日乘子 ${\lambda }_i^{\ast }$ 和 标签 $y_i$ 加权。
• 相似性越高（$⟨{\mathbf{x}}_i,\mathbf{x}⟩$ 越大），且 ${\lambda }_i^{\ast }{y}_i$ 越大，对分类的影响越大。

(3) 加上偏移项 $b^{\ast }$
$$b^{\ast }=y_k-{\mathbf{w}}^{\ast T}{\mathbf{x}}_k\text{（任选一个支持向量 xk 计算）}$$

$$\begin{array}{rl}& y_k\left({\mathbf{w}}^T{\mathbf{x}}_k+b\right)=1\\ & \to y_k^2\left({\mathbf{w}}^T{\mathbf{x}}_k+b\right)-y_k\\ & \to \left({\mathbf{w}}^T{\mathbf{x}}_k+b\right)-y_k\\ & \Rightarrow b=y_k-{\mathbf{w}}^T{\mathbf{x}}_k\end{array}$$

• 由于 $y_k$∈{−1,+1}，其平方为 1，即$y_k^2=1$。

• 确保决策超平面正确偏移，使得支持向量满足 $y_i({\mathbf{w}}^{\ast T}{\mathbf{x}}_i+b^{\ast })=1$。

(4) 符号函数 $\text{sgn}(\cdot )$
$$\text{sgn}(z)=\{\begin{array}{ll}+1& \text{if }z>0,\\ -1& \text{if }z<0.\end{array}$$

• 最终输出 $+1$ 或 $-1$，表示分类结果。

直观解释

(1) 支持向量的作用

• 决策边界仅由支持向量决定，其他样本不影响分类。
• 支持向量是离决策超平面最近的样本，决定了最大间隔。

(2) 相似性度量

• $⟨{\mathbf{x}}_i,\mathbf{x}⟩$ 衡量新样本 $\mathbf{x}$ 与支持向量 ${\mathbf{x}}_i$ 的相似性。
• 如果 $\mathbf{x}$ 与某个支持向量 ${\mathbf{x}}_i$ 高度相似（内积大），且 $y_i=+1$，则倾向于分类为 $+1$。

(3) 稀疏性

• 由于大多数 ${\lambda }_i^{\ast }=0$，SVM 的预测仅依赖少量支持向量，计算高效。

线性支持向量机（Linear SVM）—— 非线性可分情况

松弛变量 ${\xi }_i$ 的作用

$$\begin{array}{rl}& \mathbf{w}{\mathbf{x}}_i+b\ge +1-{\xi }_i\text{ for }{y}_i=+1\\ & \mathbf{w}{\mathbf{x}}_i+b\le -1+{\xi }_i\text{ for }{y}_i=-1\\ & \equiv y_i\left(\mathbf{w}{\mathbf{x}}_i+b\right)-1+{\xi }_i\ge 0\forall i\\ & {\xi }_i\ge 0\forall i\end{array}$$

• ${\xi }_i=0$：样本 $i$ 被正确分类，且位于间隔边界之外（完全满足约束）。
• $0<{\xi }_i<1$：样本 $i$ 被正确分类，但位于间隔内部（违反硬间隔约束）。
• ${\xi }_i\ge 1$：样本 $i$ 被误分类（严重违反约束）。

数学建模（Mathematical Formulation）

优化目标

$$\begin{array}{rl}\text{ Minimize }& \frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C{\left(\sum _i{\xi }_i\right)}^k\\ \text{ Subject to }& y_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)-1+{\xi }_i\ge 0\forall i\\ & {\xi }_i\ge 0\forall i\end{array}$$

• $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$：最大化间隔（与硬间隔 SVM 相同）。
• $C{\sum }_i{\xi }_i$：对分类错误的惩罚项。为了简化，考虑取k=1。
  • ${\xi }_i$ 是 松弛变量，表示第 $i$ 个样本允许的违规程度。
  • $C>0$ 是 惩罚参数，控制对误分类的容忍度：
    • $C$ 越大，模型越严格（更少误分类，但可能过拟合）。
    • $C$ 越小，模型越宽松（允许更多误分类，提高泛化能力）。

约束条件

$$\{\begin{array}{ll}{y}_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1-{\xi }_i,\forall i& \text{(允许样本在间隔内或误分类)}\\ {\xi }_i\ge 0,\forall i& \text{(松弛变量非负)}\end{array}$$

• 这么建模的原因是，当数据整体上线性可分，但存在一些噪声点时候，就需要这样的soft margin。
• 其实从拉格朗日乘子法的角度来理解，这两个约束条件是不等式约束KKT条件的一部分。

引入拉格朗日函数

引入拉格朗日乘子 ${\lambda }_i\ge 0$（对应样本约束）和 ${\mu }_i\ge 0$（对应 ${\xi }_i\ge 0$），构建拉格朗日函数：
$$L(\mathbf{w},b,\xi ,\lambda ,\mu )=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\lambda }_i\left[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1+{\xi }_i\right]-\sum _{i=1}^n{\mu }_i{\xi }_i$$
原问题：
$$\begin{array}{rl}\text{ Minimize }& \frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _i{\xi }_i\\ \text{ Subject to }& y_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)-1+{\xi }_i\ge 0\forall i\\ & {\xi }_i\ge 0\forall i\end{array}$$
转化为：
$$\begin{array}{cl}\text{ Maximize }& L\left({\mathbf{w}}^{\ast },b^{\ast },{\Xi }^{\ast };\Lambda ,\mathbf{M}\right)\\ \text{ Subject to }& {\nabla }_{\mathbf{w},b,\Xi }L(\mathbf{w},b,\Xi ;\Lambda ,\mathbf{M})=0\\ & \Lambda \ge 0,\mathbf{M}\ge 0\end{array}$$
梯度为零（Stationarity）：
$${\nabla }_{\mathbf{w}}L=\mathbf{w}-\sum _{i=1}^n{\lambda }_i{y}_i{\mathbf{x}}_i=0\Rightarrow {\mathbf{w}}^{\ast }=\sum _{i=1}^n{\lambda }_i{y}_i{\mathbf{x}}_i$$

$${\nabla }_{b}L=-\sum _{i=1}^n{\lambda }_i{y}_i=0\Rightarrow \sum _{i=1}^n{\lambda }_i{y}_i=0$$

$${\nabla }_{{\xi }_i}L=C-{\lambda }_i-{\mu }_i=0\Rightarrow {\lambda }_i+{\mu }_i=C$$

通过消去 $\mathbf{w}$、$b$ 和 ${\xi }_i$，得到对偶问题：
$$\begin{array}{rl}\underset{\lambda }{\max }& \sum _{i=1}^n{\lambda }_i-\frac{1}{2}\sum _{i,j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\\ \text{s.t.}& \sum _{i=1}^n{\lambda }_i{y}_i=0,\\ & 0\le {\lambda }_i\le C(\text{由}{\mu }_i=C-{\lambda }_i\ge 0\text{导出})\end{array}$$
写成矩阵形式：
$$\begin{array}{cl}\text{ Maximize }& F(\Lambda )=\Lambda \cdot 1-\frac{1}{2}{\Lambda }^{T}D\Lambda \\ \text{ Subject to }& {\Lambda }^T\mathbf{y}=0\\ & 0\le \Lambda \le C1\end{array}$$
KKT 条件

最优解需满足以下条件：

1. 梯度为零（Stationarity）：
   $${\nabla }_{\mathbf{w}}L=\mathbf{w}-\sum _{i=1}^n{\lambda }_i{y}_i{\mathbf{x}}_i=0\Rightarrow {\mathbf{w}}^{\ast }=\sum _{i=1}^n{\lambda }_i{y}_i{\mathbf{x}}_i$$

   $${\nabla }_{b}L=-\sum _{i=1}^n{\lambda }_i{y}_i=0\Rightarrow \sum _{i=1}^n{\lambda }_i{y}_i=0$$

   $${\nabla }_{{\xi }_i}L=C-{\lambda }_i-{\mu }_i=0\Rightarrow {\lambda }_i+{\mu }_i=C$$

2. 原始可行性与对偶可行性：
   $$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1-{\xi }_i,{\xi }_i\ge 0,{\lambda }_i\ge 0,{\mu }_i\ge 0$$

3. 互补松弛条件：
   $${\lambda }_i\left[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1+{\xi }_i\right]=0$$

   $${\mu }_i{\xi }_i=0$$

得到$\lambda$的解后得到原问题的解：
$$\begin{array}{ll}{\mathbf{w}}^{\ast }={\sum }_{i=1}^l{\lambda }_i^{\ast }{y}_i{\mathbf{x}}_i& \\ b^{\ast }=y_i-{\mathbf{w}}^{\ast T}{\mathbf{x}}_i,& 0<{\lambda }_i<C\end{array}$$

• 仅当 $0<{\lambda }_i<C$ 时，样本为支持向量（位于间隔边界上）。

• $${\xi }_i=\max \left[0,1-y_i\left({\mathbf{w}}^{\ast }{\mathbf{x}}_i+b^{\ast }\right)\right]$$

  如果 ${\xi }_i>1$.那么这是一种错误的分类模式

分类器：
$$\begin{array}{rl}f(\mathbf{x})& =\mathrm{sgn}\left({\mathbf{w}}^{{\ast }^T}\mathbf{x}+b^{\ast }\right)\\ & =\mathrm{sgn}\left(\sum _{i=1}^l{\lambda }_i^{\ast }{y}_i<{\mathbf{x}}_i,\mathbf{x}>+b^{\ast }\right)\\ & =\mathrm{sgn}\left(\sum _{{\lambda }_i^{\ast }\ne 0}{\lambda }_i^{\ast }{y}_i<{\mathbf{x}}_i,\mathbf{x}>+b^{\ast }\right)\end{array}$$