处理决策树分类特征的策略？

Question

在一个节点上，对于分类特征，我目前正在尝试所有 (2^m -2)/2 种可能的方法，将特征的 m 个不同值分成两组。在考虑该特征时，具有相同特征值的所有样本将作为一个组一起移动。

问题是，当 m 为 35（例如，国家）时，我将不得不尝试 17 万亿次拆分。

还有其他处理分类特征的方法吗？

Answer 1

http://uk.mathworks.com/help/stats/splitting-categorical-predictors-for-multiclass-classification.html?s_tid=gn_loc_drop 描述了这个问题。简而言之：

• 如果这是一个二元分类问题，则根据该类别的平均响应对 m 个值进行排序，然后尝试 m-1 种方法拆分该序列。

• 否则，该链接仅描述启发式方法，包括 Coppersmith、Hong 和 Hosking 的启发式方法。一个经典的方法是虚拟化：只需尝试 m 个拆分，每个拆分由右分支的一个值和左分支的 m-1 个值组成。