Day22_【机器学习—集成学习（4）—Boosting—GBDT算法】

提升树 （Boosting Decision Tree ）

每一个弱学习器通过拟合残差来构建强学习器

梯度提升树 （Gradient Boosting Decision Tree）

每一个弱学习器通过拟合负梯度来构建强学习器

一、提升树

残差

数学公式为：

残差=真实值−预测值

其中：

• ri​：第 i 个样本的残差
• yi：第 i 个样本的真实值（观测值）
• y^i：模型对第 i 个样本的预测值

二、GBDT

        GBDT（梯度提升树）不再拟合残差，而是利用梯度下降的近似方法，利用损失函数的负梯度作为提升树算法中的残差近似值。

负梯度

负梯度=残差=真实值-预测值

流程

1 初始化弱学习器（目标值的均值作为预测值）

2 迭代构建学习器，每一个学习器拟合上一个学习器的负梯度

3 直到达到指定的学习器个数

4 当输入未知样本时，将所有弱学习器的输出结果组合起来作为强学习器的输出

详细过程