【发布时间】：2016-05-11 11:42:14
【问题描述】：
我找到了两种类型的几个例子。
单一功能
给定一个只有两个项目类的数据。 example 仅适用于蓝色和黄色球。 IE。在这种情况下，我们只有一个特征是颜色。这是显示适用于熵的“分而治之”规则的明显示例。但这对于任何预测或分类问题都是毫无意义的，因为如果我们有一个只有一个特征并且值已知的对象，我们不需要一棵树来确定“这个球是黄色的”。
多种功能
给定一个具有多个特征的数据和一个要预测的特征（以训练数据而闻名）。我们可以根据每个特征的最小平均熵来计算谓词。更贴近生活，不是吗？在我没有尝试实现算法之前，我很清楚。
现在我脑子里有一个碰撞。
如果我们计算相对于已知特征（每个节点一个）的熵，只有当未知特征严格依赖于每个已知特征时，我们才会在使用树进行分类时得到有意义的结果。否则，单个未绑定的已知特征可能会破坏所有以错误方式驱动决策的预测。但是，如果我们相对于我们想要在分类时预测的特征值计算熵，我们将返回到第一个毫无意义的示例。这样，节点使用哪个已知功能没有区别...
还有一个关于建树过程的问题。
我是否应该只计算已知特征的熵，并相信所有已知特征都与未知特征绑定？或者也许我应该计算未知特征（以训练数据已知）的熵来确定哪个特征更影响结果？
【问题讨论】：
标签： machine-learning artificial-intelligence decision-tree entropy data-science