xgboost

集成学习

共同点：
都是由很多弱分类器构成的。(弱分类器：表现不太好的分类器)
区别：
bagging：过拟合
boosting：欠拟合

提升树：
基于残差做训练

随机森林：
随机森林是同时训练多个模型，预测的时候通过加权平均方式(投票)来参与。

xgboost：
相加来参与

思路详解

跟逻辑回归的连续性的优化问题不同。xgboost是个离散值的优化问题。

损失函数l可在后面任意选择。

树的复杂度：可以通过树的深度，节点个数，节点上的值来控制。

目标函数简化

使用泰勒级数近似目标函数

adboost：以后的训练在第一次训练的错误样本上增加权重
参数化

定义树的复杂度

假设在树的结构已知的情况下

决策树

划分

疑问