python学智能算法（三十三）|SVM-构建软边界拉格朗日方程

【1】引用

在前序学习进程中，我们初步了解了SVM软边界，今天就更进一步，尝试构建SVM软边界的拉格朗日函数。

【2】基本问题

在SVM软边界中，我们已经获得此时的最优化几何距离的表达式：
$$f=\min \frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i$$
其中，
$\frac{1}{2}||w|{|}^2$是距离最大化项；
$C{\sum }_{i=1}^n{\xi }_i$是错误惩罚项且要规定$C>0$；
${\xi }_i$是松弛变量，表示样本$x_i$的违反程度。
此时的约束条件是：
$$距离函数：y_i(w\cdot x_i+b)\ge 1-{\xi }_i$$
$$松弛变量：x_i\ge 0(i=1,2,...,n)$$

【2.1】$C>0$分析

定义惩罚项$C{\sum }_{i=1}^n{\xi }_i$的目的是对脱离或违反间隔约束的样本进行“惩罚”，非常直观的，松弛变量${\xi }_i\ge 0$，且这个值越大，样本违反约束的程度也就越重。
当$C>0$时，${\xi }_i$越大，样本违反约束的程度越大，整个惩罚项也越大，这与 “违反约束应受到惩罚” 的逻辑一致；
当$C=0$时，${\xi }_i$越大，样本违反约束的程度越大，但整个惩罚项恒等于0，所有样本都可能实际违反约束但未被识别，这与 “违反约束应受到惩罚” 的逻辑矛盾；
当$C<0$时，${\xi }_i$越大，样本违反约束的程度越大，但整个惩罚项反而越小，样本实际违反约束的程度被低估，会影响SVM分类的正确性；
所以从分类准确性来看，应当保持$C>0$。

【2.2】构造拉格朗日函数

引入拉格朗日乘子${\alpha }_i\ge 0$对应距离函数；
引入拉格朗日乘子${\mu }_i\ge 0$对应松弛变量。
获得拉格朗日函数为：
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i[y_i(w\cdot x_i+b)-1+{\xi }_i]-\sum _{i=1}^n{\mu }_i{\xi }_i$$

【3】总结

初步构建了SVM软边界条件下的拉格朗日函数。