如果决策树必须区分三个或更多可能的类别，为什么杂质度量不是一个好的度量？

【问题标题】：Why is impurity measure is not a good measure if there are three or more possible classes that the decision tree must distinguish?如果决策树必须区分三个或更多可能的类别，为什么杂质度量不是一个好的度量？
【发布时间】：2017-09-02 14:26:09
【问题描述】：

我正在学习一些机器学习，目前正在学习决策树。我想知道如果决策树必须区分三个或更多可能的类别，为什么杂质测量不是一个好的测量。是因为随机性，像 k-means 聚类这样的东西更好吗？

干杯

【问题讨论】：

标签： java machine-learning decision-tree

【解决方案1】：

两个类P(A).P(B) 的杂质度量，其中P(A) 和P(B) 都是0 到1 之间的分数。随着我们添加更多类P(A).P(B).P(C)，杂质度量将更多分数相乘。当您将任意两个分数相乘时，您会得到一个小于其分量的数字。随着类别数量的增加，杂质度量变得非常小，随着类别增加到无穷大，接近 0。

简单地说，杂质度量在多类分类问题中失去了意义，因为它变得太小而无法在决策树中正常运行。

【讨论】：