1、剪枝的目的是避免过拟合,避免过拟合的方式是在损失函数中加入附加项α|T|。
2、损失函数定义如下,参考https://blog.csdn.net/ritchiewang/article/details/50254009
决策树算法剪枝的一些理解
决策树算法剪枝的一些理解
3、假设不剪枝的损失函数为C前(T前)=C(T前)+α|T前|,剪枝后仅保留根节点的损失函数为C后(T后)=C(T后)+α|T后|,因为仅剩下根节点,所以|T后|=1,另两者相等,则我们得到α值。一般情况下,若α>=[C(T后)-C(T前)]/[|T前|-1],则需要进行剪枝,所以对很多枝来说,我们仅需要找出最小的一个[C(T后)-C(T前)]/[|T前|-1],这样就可以保证应剪尽剪。

相关文章:

  • 2021-12-18
  • 2021-05-10
  • 2021-07-03
  • 2021-09-10
  • 2021-09-11
猜你喜欢
  • 2021-04-13
  • 2022-12-23
  • 2021-10-18
  • 2022-01-19
  • 2021-07-14
相关资源
相似解决方案