梯度提升之原理

简介

梯度提升主要是基于数学最值问题

数学描述

目标函数为
$$obj(\theta )=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t)})+\sum _{k=1}^{t}w(f_k)$$
其中$t$表示集成的树的个数，${\hat{y}}_i^{(t)}={\hat{y}}_i^{(t-1)}+f_t(x_i)$
在集成第$t$个树时，目标函数表示为
$$\begin{array}{rl}ob{j}^{(t)}& =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t)})+\sum _{k=1}^{t}w(f_k)\\ & =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+w(f_t)+constant\end{array}$$
对$l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))$泰勒级数展开为
$$l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))=l(y_i,{\hat{y}}_i^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)$$其中$$g_i={\partial }_{{\hat{y}}_i^{(t-1)}}l(y_i,{\hat{y}}_i^{(t-1)}),h_i={\partial }_{{\hat{y}}_i^{(t-1)}}^{2}l(y_i,{\hat{y}}_i^{(t-1)})$$所以替换后，删除常量后有
$$ob{j}^{(t)}=\sum _{i=1}^n\left[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)\right]+w(f_t)$$