【发布时间】：2014-08-27 18:05:29
【问题描述】：
我试图通过描述 ECT 算法的 this paper 来了解它，但无法从中得到太多。
我知道它与 one-against-al (oaa) 不同，甚至比 oaa 表现更好。我想简单解释一下 ect 的工作原理。
【问题讨论】：
标签： classification vowpalwabbit
【发布时间】：2014-08-27 18:05:29
【问题描述】：
ECT 和过滤树（仅）在您有大量输出标签（类）时有用，假设 N=1000。使用 OAA（one-against-all），这意味着对每个示例（在训练和测试期间）执行 N 个二进制分类任务。使用 ECT，您可以更快地进行预测：log(N)。您可以将过滤树（它是 ECT 的基础）想象成一棵决策树，在每个节点中您询问示例是属于一组标签还是另一组标签（使用所有特征，与原始决策树不同）。
总的来说，ECT 比 OAA 更差（在损失或准确性方面）（但在某些情况下它可能几乎与 OAA 一样好）。对于 N=10 个标签，您应该先尝试 OAA。 N>1000，OAA 太慢（甚至准确率也很低），你应该尝试 ECT（或者在 VW 中使用 --log_multi 或 --csoaa_ldf，如果你可以预先选择与每个示例相关的较少数量的标签） .
【讨论】：
-
使用 OAA（一对一），您只需要执行 N = 1000 个二元分类任务，因为您为每个类 c 训练一个二元分类器来预测 c 和非 c。使用 OAO（一对一），您将需要 N^2 个分类器，因为您为每一对类 (c_1, c_2) 训练一个二元分类器来预测 c_1 或 c_2。
-
糟糕，我怎么能写出 OAA 需要 N^2？ （可能我把它和 OAO 混淆了，又名 wap=weighted all pairs，前段时间从大众中删除了。）我现在修好了。感谢您的关注。