参考李航老师的统计学习方法一书

提 升方法实际上采用加法模型和前向分布算法,其中以决策树为基函数的提升方法称为提升树。

对于分类问题:决策树是二叉分类树,其中损失函数为指数损失函数

对于回归问题:决策数是二叉回归树,其中损失函数为误差平方和

一般决策问题:一般损失函数,为梯度下降算法

1. 提升树原理

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

对于二分类问题只需要将AdaBoost中的基本分类器限定为二分类树即可,即是AdaBoost的特殊情况

下面进行讨论回归问题的提升树模型

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

2 提升树算法例子

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

则s及对应的m(s)的计算结果列表如下

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导


相关文章:

  • 2021-10-04
  • 2021-11-27
  • 2021-10-26
  • 2021-11-03
  • 2021-11-05
  • 2021-06-15
  • 2022-12-23
  • 2022-01-22
猜你喜欢
  • 2021-08-25
  • 2021-08-29
  • 2021-03-31
  • 2021-12-03
  • 2021-06-18
相关资源
相似解决方案