决策树中的特征重要性、离散化和标准答案

【问题标题】：Feature importances, discretization and criterion in decision trees决策树中的特征重要性、离散化和标准
【发布时间】：2015-08-13 23:47:12
【问题描述】：

我正在处理数字特征，我想在 sklearn 中使用决策树分类器来查找特征重要性。

所以，如果我选择熵标准进行分割，信息增益被用作分割数据的杂质度量。我猜这相当于 Fayyad & Irani 二进制离散化。

最后，分类器返回一个名为“特征重要性”的属性。

特征重要性。越高，特征越重要。特征的重要性被计算为（归一化的）总降低该特征带来的标准。这也是众所周知的作为基尼系数 [R195]。

我的问题是，即使我使用信息增益来找到最佳分割，“特征重要性”是否会返回在使用熵标准找到的分割中测量的基尼重要性值？

【问题讨论】：

【解决方案1】：

是的！有一种迭代方法来计算不同分裂点的基尼重要性，一旦达到终止标准（最小描述长度），就会返回最佳分裂点。您可以在此处通过玩具示例找到更多信息：http://clear-lines.com/blog/post/Discretizing-a-continuous-variable-using-Entropy.aspx

【讨论】：