【发布时间】：2016-02-23 21:07:38
【问题描述】：
在什么情况下最大化信息增益不等于最小化熵？更广泛的问题是为什么我们需要信息增益的概念？仅使用熵来决定决策树的下一个最优属性是否不够？
【问题讨论】：
-
在此处查看接受的答案：stackoverflow.com/questions/1859554/…
-
Information_Gain = Entropy_before - Entropy_after
-
Entropy_before 不是常数吗？这是否意味着我们应该只考虑最小化 Entropy_after？
-
是的。最大化 information_Gain 和最小化 Entropy_after 是一回事。
-
我同意 - 我也看不出区别。但是可能存在差异，sklearn 甚至可以根据每个节点scikit-learn.org/stable/modules/generated/… 中的观察分数来缩放增益，在我看来，这只是乘以一个常数，这应该不会产生任何影响。
标签： math decision-tree entropy information-gain