以下是用回归树模拟实现GBDT

这是gbdt的第一棵树

GBDT源码解读及实现(二)

GBDT源码解读及实现(二)
GBDT源码解读及实现(二)

对比两张图可以看出分割节点一样,但是叶子节点的value不同

下面是更新GBDT的树的value过程
GBDT源码解读及实现(二)

在不考虑样本权重的情况下第一棵树更新后的值=∑(residual)/∑(y_pred*(1-y_pred))
GBDT源码解读及实现(二)
第二棵树:

gbdt 生成:
GBDT源码解读及实现(二)

下面是模拟生成:

GBDT源码解读及实现(二)
GBDT源码解读及实现(二)

第二棵树的y_pred2=第一棵树的y_pred1+value(from gbdt)*learning_rate,第二棵树的residual就是y_test - 1/(1-exp(-y_pred2))

相关文章:

  • 2021-07-02
  • 2022-01-06
  • 2021-05-05
  • 2021-05-29
  • 2021-08-22
  • 2021-07-15
  • 2021-08-18
  • 2022-12-23
猜你喜欢
  • 2022-01-19
  • 2021-10-19
  • 2021-11-22
  • 2022-12-23
  • 2023-03-29
  • 2021-12-31
  • 2021-09-18
相关资源
相似解决方案