scikit-learn/sklearn学习|广义线性回归 Logistic regression的三种成本函数

【1】引言

前序学习进程中，已经对线性回归和岭回归做了初步解读。
实际上， Logistic regression是一种广义的线性模型，在对线性分类的进一步学习前，有必要了解 Logistic regression。

【2】Logistic regression的3种成本函数

点击下方链接直达官网学习教程：logistic regression
Logistic regression是Logistic回归所使用的算法，包括的成本函数有3种，具体为：
$L2$正则化成本函数：
$$\min \frac{1}{2}{w}^{T}w+C\sum _{i=1}^{n}log(exp(-y_i(X_i^{T}w+c))+1)$$
$L1$正则化成本函数：
$$\min ||w|{|}_1+C\sum _{i=1}^{n}log(exp(-y_i(X_i^{T}w+c))+1)$$
弹性网正则化成本，结合了$L2$正则化和$L1$正则化的成本函数：
$$\min \frac{1-\rho }{2}{w}^{T}w+\rho ||w|{|}_1+C\sum _{i=1}^{n}log(exp(-y_i(X_i^{T}w+c))+1)$$
显然，当$\rho =1$时，弹性网正则化等价于$L1$正则化
当$\rho =0$时，弹性网正则化等价于$L2$正则化。

【3】总结

学习了Logistic regression的3种成本函数。