scikit-learn/sklearn学习|变量去中心化和标准化

【1】引言

前序学习进程中，已经对用scikit-learn表达线性回归、岭回归、套索回归、多任务套索回归、弹性网络和多任务弹性网络进行了初步解读。
线性回归的目的，是将因变量$y$表达成由自变量$x$、线性系数矩阵$w$和截距$b$组成线性函数式。
线性回归获得函数式：
$$y=\sum _{i=1}^n{w}_i\cdot x_i+b=w^{T}x+b$$
对应的均方误差函数计算式为：
$$L(w,b)=\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2+\xi =\sum _{i=1}^n(y_i-(w^T{x}_i+b){)}^2+\xi$$在这里，$y$是第i个样本的真实值，$\hat{y}$是第i个样本的预测值，当$\xi =0$时，上述均方误差函数适用于普通线性回归，当$\xi \ne 0$时，则具体衍生出岭回归、套索回归、弹性网络等具体算法。
当我们在看各种算法的均方误差函数计算式的时候，会发现自变量和因变量有时候需要再次处理，至少包括去中心化和标准化两种。今天的学习目标就是了解这两种处理方法，为后续深入学习做准备。

【2】去中心化

去中心化是将变量统一减去均值，也就是使平均值=0，这个过程不会改变方差和标准差。
设变量$X=[x_1,x_2,...,x_n]$，对应均值为：
$$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
去中心化后的变量记录为$\hat{X}=[x_1-\bar{x},x_2-\bar{x},...,x_n-\bar{x}]=[x_1^{\prime },x_2^{\prime },...,x_n^{\prime }]$

【3】标准化

标准化是在去中心化的基础上，将变量除以其标准差，是处理后的变量均值为0、标准差为1，是一种无量纲转化。
样本标准差计算式为：
$$s=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2}$$表标准化后的变量记作z，满足：
$$z_i=\frac{x_i-\bar{x}}{s}=\frac{x_i^{\prime }}{s}$$
标准化后，可以满足：
$z_i$的均值为0：$$\bar{z}=\frac{1}{n}\sum _{i=1}^n{z}_i=0$$新的标准差：
$$\begin{gathered} s^{\prime }=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(z_i-0{)}^2}= \\ \sqrt{\frac{1}{n-1}\sum _{i=1}^n(\frac{x_i^{\prime }}{s}{)}^2}= \\ \sqrt{\frac{1}{n-1}\sum _{i=1}^n(\frac{x_i-\bar{x}}{s}{)}^2}= \\ \frac{1}{s}\sqrt{\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2}= \\ 1 \end{gathered}$$
方差：
总体方差的计算式：

$$\begin{gathered} {\sigma }^2=\frac{1}{n}\sum _{i=1}^n(z_i-\bar{z}{)}^2= \\ {\sigma }^2=\frac{1}{n}\sum _{i=1}^n(z_i-0{)}^2= \\ {\sigma }^2=\frac{1}{n}\sum _{i=1}^n(\frac{x_i^{\prime }}{s}{)}^2= \\ \frac{1}{n}\sum _{i=1}^n(\frac{x_i-\bar{x}}{s}{)}^2= \\ \frac{1}{s^2}\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^2 \end{gathered}$$
实际上大多数时刻，大家获得的都是样本，很少有机会获得整体数据，此时样本昂差的校正计算式为：
$$\begin{gathered} {\sigma }^2=\frac{1}{n-1}\sum _{i=1}^{n-1}(z_i-\bar{z}{)}^2= \\ \frac{1}{s^2}\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2=1 \end{gathered}$$

【4】总结

学习了去中心化和标准化的基本知识。