机器学习-无量纲化与特征降维（一）

一.无量纲化-预处理

无量纲，即没有单位的数据

无量纲化包括"归一化"和"标准化"，这样做有什么用呢？假设用欧式距离计算一个公司员工之间的差距，有身高（m）、体重（kg）以及收入（元）三个标准，正常情况下，收入带来的差距会很大，且看下面的公式：

从计算上来看, 发现身高体重对计算结果没有什么影响, 基本主要由收入来决定了,但是现实生活中,身高是比较重要的判断标准.  所以需要无量纲化.

1.1 MinMaxScaler 归一化

公式：

API：

sklearn.preprocessing.MinMaxScaler(feature_range)

参数：

- feature_range：归一化后的数据的范围，默认为(0,1)。归一化中假设x是(0，1)，设置为(2,5)背后即用x*(5-2)+2就可以完成归一化后的范围转化。

返回值为ndarray类型

# 导入相关库
from sklearn.preprocessing import MinMaxScaler# 定义数据
data = [[2, 3, 4], [5, 6, 7],[8, 9, 10]]# 实例化MinMaxScaler
scaler = MinMaxScaler(feature_range=(1, 2))
data_new = scaler.fit_transform(data)# 打印结果
print(data_new)

[[1.  1.  1. ]
 [1.5 1.5 1.5]
 [2.  2.  2. ]]

1.2 normalize归一化

API:

normalize(data, norm='l2', axis=1)

参数：

- norm：归一化方式，默认为l2，可选l1、l2、max

    - l1：绝对值相加作为分母,特征值作为分子

    - l2：平方相加作为分母,特征值作为分子

    - max：最大值作为分母,特征值作为分子

- axis：归一化的维度，默认为1，可选0、1

返回值：归一化后的数据

# 导入相关库
from sklearn.preprocessing import normalize# 定义数据
data = [[1, 2, 3],[4, 5, 6],[7, 8, 9]]# 归一化
normalized_data = normalize(data,norm='l1',axis=0)# 打印结果
print(normalized_data)

[[0.08333333 0.13333333 0.16666667]
 [0.33333333 0.33333333 0.33333333]
 [0.58333333 0.53333333 0.5       ]]

注意：这里的normalize是不需要进行fit_transform操作的

上述两种归一化都有缺点：最大值和最小值容易受到异常点影响，所以鲁棒性较差。所以常使用标准化的无量钢化

1.3 StandardScaler 标准化

也是数据归一化的一种，目的是将不同特征的数值范围缩放到统一的标准范围。

最常见的标准化方法是Z-score标准化，也叫零均值标准化。通过对每个特征的值减去其均值，再除以其标准差，将数据转换为均值为0，标准差为1的分布：

API：

sklearn.preprocessing.StandardScale

所有归一化返回的都是ndarray类型

# 导入相关库
from sklearn.preprocessing import StandardScaler# 定义数据
data = [[1,2,3],[4,5,6],[7,8,9]]# 标准化数据
scaler = StandardScaler()
data_new = scaler.fit_transform(data)# 打印结果
print(data_new)

[[-1.22474487 -1.22474487 -1.22474487]
 [ 0.          0.          0.        ]
 [ 1.22474487  1.22474487  1.22474487]]

这里补充讲讲前面提到过的 fit_transform() 与 fit() 和 transform() 的区别：

fit() 是对传入的数据进行计算，transform() 是对传入的数据进行特征转换，fit_transform() 是先 fit()再 transform()。

# 导入相关库
from sklearn.preprocessing import StandardScaler# 定义数据
data = [[1,2,3],[4,5,6],[7,8,9]]data1 = [[10,20,30],[40,50,60],[70,80,90]]# 标准化数据
scaler = StandardScaler()
# 先调用fit
scaler.fit(data)# 可以查看fit计算的均值和方差
print(scaler.mean_)
print(scaler.var_)# 再调用transform
data_scaled = scaler.transform(data1)# 打印结果
print(data_scaled)

[4. 5. 6.]
[6. 6. 6.]
[[ 2.44948974  6.12372436  9.79795897]
 [14.69693846 18.37117307 22.04540769]
 [26.94438717 30.61862178 34.2928564 ]]

可以发现，上面的结果有所不同，这是因为先调用了 fit() 对data的数据进行计算，得到data的均值和方差，此时调用 transform() 会使用最近一次 fit() 计算的均值与方差，所以这里就是用data的均值和方差来对data1进行标准化处理。也可以先调 fit_transform 然后再调 transform ，就是使用前面 fit_transform 计算的均值和方差转化。

这个通常用于训练集与测试集，要用训练集中的均值和方差来对测试集进行转化，一般不使用测试集的均值方差。

二.特征降维

实际数据中,有时候特征很多,会增加计算量,降维就是去掉一些特征,或者转化多个特征为少量个特征。其目的就是减少数据集维度，尽可能保留重要信息。

有两种常见的特征降维方式：

- 特征选择

  - 从原始特征集中挑选出最相关的特征

- 主成份分析(PCA)

  - 主成分分析就是把之前的特征通过一系列数学计算，形成新的特征，新的特征数量会小于之前特征数量

接下来介绍一下基本的特征选择：

2.1 特征选择

2.1.1 VarianceThreshold 低方差过滤特征选择

若一个特征的方差很小，说明这个特征的值在样本中几乎相同或变化不大，包含的信息量很少，下面是VarianceThreshold的工作原理：

1. 计算方差：对于每个特征，计算其在训练集中的方差(每个样本值与均值之差的平方,在求平均)。

2. 设定阈值：选择一个方差阈值，任何低于这个阈值的特征都将被视为低方差特征。

3. 过滤特征：移除所有方差低于设定阈值threshold的特征

API：

sklearn.feature_selection.VarianceThreshold(threshold=2.0)

# 导入相关库
from sklearn.feature_selection import VarianceThreshold# 定义数据
data = [[12,22,4],[11,23,1],[11,23,9]]# 实例化VarianceThreshold
vt = VarianceThreshold(threshold=2)# 应用VarianceThreshold
result = vt.fit_transform(data)# 打印结果
print(result)

[[4]
 [1]
 [9]]

2.1.2 根据相关系数的特征选择

皮尔逊相关系数（Pearson correlation coefficient)是一种度量两个变量之间线性相关性的统计量，它是一个介于-1和1之间的数。
 

- ρ = 1 表示完全正相关，即随着一个变量的增加，另一个变量也线性增加。

- ρ = -1 表示完全负相关，即随着一个变量的增加，另一个变量线性减少。

- ρ = 0 表示两个变量之间不存在线性关系。

|ρ|<0.4为低度相关;    0.4<=|ρ|<0.7为显著相关；  0.7<=|ρ|<1为高度相关

API:

scipy.stats.personr(x, y)

参数：

   - x, y: 数组或序列，维度必须相同或能广播至相同。

返回对象有两个属性:

   - statistic 皮尔逊相关系数  

   - pvalue 另一种相关稀疏，零假设(作了解),统计上评估两个变量之间的相关性,越小越相关

# 导入相关库
from scipy.stats import pearsonr# 定义数据
data = [12,22,4]tezheng = [1,2,3]# 计算相关系数
re = pearsonr(data, tezheng)# 输出相关系数
print(re.statistic)
print(re.pvalue)

-0.4435327625727436
0.7074499612035013