在视频中 Anna Veronika Dorogush - CatBoost - the new generation of Gradient Boosting
她在 15:30 分钟谈论“对象”。她到底是什么意思？特征？列？行？
经典提升和有序提升之间究竟有什么区别？经典只是将所有决策树加起来吗？ 有序的是否仅使用之前随机分布的决策树并将它们相加？所以区别只是随机分布？
我希望有人可以帮助我，因为我很难理解这一点。
【问题讨论】：
标签： catboost catboostregressor
据我了解，她在视频中提到的“对象”是数据集的数据点/实例。 catboost 论文中提到的经典提升的问题是预测偏移。也就是说，模型在训练集中学到的东西并没有反映在测试集中。他们说问题的根源在于训练阶段的每棵树都是在同一组数据点上训练的，因此没有机会遇到看不见的数据。
对于有序提升，一棵树在数据集的一个子集上进行训练，并用于计算它未见过的另一个子集的残差。 Catboost 通过创建一个人为的时间来获得这一点，即数据的随机排列。
假设您有从 0 到 9 的十个数据点。Catboost 将创建一个包含 5,0,2,1,3,6,4,9,7,8 的排列（这只是我来的任意排列up with)，然后在 5,0,2,1,3 上训练一个模型，然后用于计算 6,4,9,7,8 的残差。
这只是我自己的理解，绝不是100%正确。 非常欢迎和感谢任何 cmets 和更正。
【讨论】：