python学智能算法（二十七）|SVM-拉格朗日函数求解上

【1】引言

前序学习进程中，我们已经掌握了支持向量机算法中，为寻找最佳分割超平面，如何用向量表达超平面方程，如何为超平面方程建立拉格朗日函数。
本篇文章的学习目标是：求解SVM拉格朗日函数。

【2】求解方法

【2.1】待求解函数

支持量机算法的拉格朗日函数为：
$$L(w,b,\alpha )=\frac{1}{2}{\Vert w\Vert }^2-\sum _{i=1}^m{\alpha }_i[y_i(w\cdot x_i+b-1)]$$

【2.2】函数求导

按照一贯的求解思路，先对拉格朗日函数进行求导：

【2.2.1】对w求导

$$\frac{\partial L}{\partial w}=\frac{\partial }{\partial w}[\frac{1}{2}{w}^{T}w-\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i]$$
细心观察的朋友肯定发现上式出现了权重矩阵w的转置$w^T$，这是因为：
在之前的所有公式的写法中，我对w和x/的矩阵乘法都沿用了最为稳妥的写法$w\cdot x$。在机器学习领域，一般默认的向量形式为列向量，所以$w$和$x_i$可能都是列向量，实际做矩阵乘法的时候，需要转置其中一个，实际的超平面式简写后为
$$w^{T}x+b=0$$或者 $$w{x}^T+b=0$$这两种写法完全等效。
在求导的时候，必须选择上述写法中的任何一个，这里选择了$w^T{x}_i+b=0$，是为了和$\frac{1}{2}{\Vert w\Vert }^2=\frac{1}{2}{w}^{T}w$保持一致。
继续求解导数：
$$\frac{\partial L}{\partial w}=\frac{\partial }{\partial w}[\frac{1}{2}{w}^{T}w-\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i]=w-\sum _{i=1}^m{\alpha }_i{y}_i{x}_i$$

【2.2.2】对b求导

$$\frac{\partial L}{\partial b}=-\sum _{i=1}^m{\alpha }_i{y}_i$$

【2.3】极值代入

令前两步的导数为0，首先：
$$\frac{\partial L}{\partial w}=w-\sum _{i=1}^m{\alpha }_i{y}_i{x}_i=0$$可得：
$$w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i$$
然后：
$$\frac{\partial L}{\partial b}=-\sum _{i=1}^m{\alpha }_i{y}_i=0$$
可得：
$$\sum _{i=1}^m{\alpha }_i{y}_i=0$$将上数值代入拉格朗日函数有：
第一项：
$$\frac{1}{2}{\Vert w\Vert }^2=\frac{1}{2}{w}^{T}w=\frac{1}{2}(\sum _{i=1}^m{\alpha }_i{y}_i{x}_i{)}^T\sum _{i=1}^m{\alpha }_j{y}_j{x}_j=\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$
第二项：
$$\begin{array}{r}\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i=\\ \sum _{i=1}^m{\alpha }_i{y}_i(\sum _{j=1}^m{\alpha }_j{y}_j{x}_i{)}^T{x}_i=\sum _{i=1}^m{\alpha }_i{y}_i(\sum _{j=1}^m{\alpha }_j{y}_j{x}_j^T)x_i\\ =\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_j^T{x}_i\end{array}$$
第三项：
$$\sum _{i=1}^m{\alpha }_i{y}_{i}b=b\sum _{i=1}^m{\alpha }_i{y}_i=0$$
第四项：
$$\sum _{i=1}^m{\alpha }_i\cdot 1=\sum _{i=1}^m{\alpha }_i$$

将上述四项叠加后，得到：
$$L(w,b,\alpha )=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$

【3】总结

对支持向量机算法的拉格朗日函数按照参数求导后，获得了新的表达式。