本博客仅用于知识记录,方便自己学习,有错误之处欢迎指正
若有雷同请联系我
参考:清华大学 袁博老师 数据挖掘课程
1. boosting与bagging的区别:
1)boosting是串行训练的,而bagging是可以将多个分类器并行训练
2)bagging是有放回的取样本,boosting不需要以bootstrap的方式取样
3)bagging每个样本的权重是一样的,boosting不同样本权重不一样,对分错的样本增加权重,分对的下调权重,从而达到更着重训练这些样本的目的
2.小例子(例子来源袁博老师课程):
先用数据训练第一个分类器c1,然后对c1进行测试,在c1中被分错的样本将在训练c2的时候着重训练(每次测试完,会对样本的权重进行调整)
训练得到c2后,继续进行测试,重新调整训练集,然后训练c3,一直训练到分类器个数达到要求。对重对N个学习器加权结合
3.Adaboost——经典的boosting算法
,Adaboost会给每个学习器添加一个α权重,这个α是固定的,不会变化,
是学习器错误率
分类正确的样本权重,分类错误的权重调整
伪代码: