快速上手大模型:机器学习4
1 特征缩放
1.1 引子
结论:通过缩放w1*x1、w2*x2使其数值差接近,使用转换后的数据运行梯度下降算法,等高线类似于圆,梯度下降可以找到一条更直接的路径到达全局最小值。
1.2 缩放方法
1.2.1 除以最大值法
除以区间最大值,使缩放后的点落在一个近圆上。
1.2.2 均值归一化(Mean normalization)
缩放后使x1、x2在-1~1之间分布。
、
分别是x1、x2在训练集上的均值,然后用每个x1、x2算放缩后的值,找出放缩后的范围。
1.2.3 Z-score归一化(Z-score normalization)
归一化公式:
,
其中,
分别是x1、x2在训练集上的均值;
是标准差(
)