分类和回归树 - 使用 GINI 进行最优分割计算

Question

我一直在使用我的 java 实现遵循cart 算法的本指南，并且想知道是否有更快的方法来选择最佳分割。

指南建议以下步骤：

       for each feature:
          for each value of the feature:
             make a split
             remember GINI score if a split is less than previous min GINI

是否可以对该过程进行任何修改以牺牲局部精度来提高速度，但不会导致整体精度下降？虽然这可以很容易地并行化，但循环每个属性仍然很昂贵，并且选择单个拆分是有价值的。

Answer 1

是的，这可以加快：

For each feature
    Sort data by feature
    Calculate cumulative counts of different values of target
    Calculate reverse cumulative counts of different values of target
    At each feature value
         Calculate gini value based on cumulative counts
         Keep the maximum

如果特征采用一组有限的值，则可以进一步优化。无需对数据进行排序，您可以聚合数据并将聚合后的数据用于拆分计算。

如果特征是分类特征，您遵循相同的过程，但按二元目标的目标密度对特征进行排序。如果您有超过 2 个目标值，这会变得有点棘手。