使用增益比的 ID3 实现

Question

我已经实现了 ID3（使用信息增益来选择最佳属性），它工作正常。但是，现在我正在尝试其他启发式方法，例如增益比。增益比计算正确，但是当我使用增益比的值来拆分树时，它确实变得奇怪而复杂。
是不是一定要对增益比值做点什么，还是像使用信息增益一样直接使用（即选择增益比最大的属性）？

Answer 1

首先，请注意GR = IG/IV（其中GR 是gain ratio，IG 是信息增益，IV 是信息价值（也就是内在价值）），所以如果IV = 0，@987654329 @ 未定义。这种情况的一个例子是所有训练示例的属性值都相同。

现在，Quinlan 在Induction of decision trees 中定义了GR，以抵消IG 对具有多个值的属性的偏见。不过他也指出GR可能会偏向IV非常小的属性。
为了克服这种偏见，Quinlan 指出，在选择增益率最高的属性时，应该只考虑 IG 平均或更好的属性。

如果我理解正确，只考虑具有平均或更好IG 的属性有助于抵消对具有非常小的IV 属性的偏见，因为IG <= IV。 （有关更多信息，请参阅here。）

也许这会改善您的结果。