梯度提升树中的负梯度和残差关系

我们希望找到一个  使得  最小，那么  就得沿着使损失函数L减小的方向变化，即：

同时，最新的学习器是由当前学习器  与本次要产生的回归树 相加得到的：

因此，为了让损失函数减小，需要令：

即用损失函数对f(x)的负梯度来拟合回归树。