【问题标题】:How do Randomforests train the model随机森林如何训练模型
【发布时间】:2024-04-16 01:45:01
【问题描述】:

在我读到关于 RF 的任何地方,Out of bag 样本都用于评估随机森林的性能。但是这个评估究竟会发生什么?阅读它只是说为每棵树重复递归节点分裂的算法。而且树是独立的。那么究竟有什么可以训练和最小化呢?

【问题讨论】:

    标签: random-forest


    【解决方案1】:

    在 RF 中,OOB 验证集可用于删除模型中的冗余特征。可以从每棵树中一个一个地删除潜在的冗余特征,然后您可以检查 OOB 验证集的准确性是否真的提高了。

    因此,您首先生成树,然后单独优化它们删除冗余特征,然后以 RF 方式将它们组合在一起(让它们对传入的实例进行投票)。如果树是不相关的,它们将抵消每棵特定树的错误。

    检查此post中的删除冗余功能部分

    【讨论】:

    • 那么减少你可能选择的唯一东西的特征,深度或其他特征保持不变?你还在使用曾经使用过它们的老树吗?据我所知,没有任何东西被删除或修剪?