本博客仅用于知识记录,方便自己学习,有错误之处欢迎指正

若有雷同请联系我

参考:清华大学 袁博老师 数据挖掘课程  

参考:https://www.cnblogs.com/earendil/p/8872001.html

1. boosting与bagging的区别:

    1)boosting是串行训练的,而bagging是可以将多个分类器并行训练

    2)bagging是有放回的取样本,boosting不需要以bootstrap的方式取样

    3)bagging每个样本的权重是一样的,boosting不同样本权重不一样,对分错的样本增加权重,分对的下调权重,从而达到更着重训练这些样本的目的

2.小例子(例子来源袁博老师课程):

集成学习4——boost

     先用数据训练第一个分类器c1,然后对c1进行测试,在c1中被分错的样本将在训练c2的时候着重训练(每次测试完,会对样本的权重进行调整)

集成学习4——boost

训练得到c2后,继续进行测试,重新调整训练集,然后训练c3,一直训练到分类器个数达到要求。对重对N个学习器加权结合

 3.Adaboost——经典的boosting算法

集成学习4——boost,Adaboost会给每个学习器添加一个α权重,这个α是固定的,不会变化,集成学习4——boost是学习器错误率

分类正确的样本权重集成学习4——boost,分类错误的权重调整集成学习4——boost

伪代码:

集成学习4——boost

相关文章:

  • 2021-08-12
  • 2022-12-23
  • 2021-08-07
  • 2021-12-21
  • 2021-06-22
  • 2021-06-20
  • 2021-10-23
猜你喜欢
  • 2021-07-09
  • 2021-05-09
  • 2021-07-21
  • 2021-11-21
  • 2022-02-04
  • 2022-12-23
相关资源
相似解决方案