为什么 Weka 的 Experimenter 没有显示所有 10 折的结果？答案

【问题标题】：Why does Weka's Experimenter not show the results from all 10 folds?为什么 Weka 的 Experimenter 没有显示所有 10 折的结果？
【发布时间】：2012-09-26 03:52:44
【问题描述】：

我正在使用 Weka 对一组数据运行决策树分类器。我正在使用 10 折交叉验证，我想知道十折中每一个的准确度。在资源管理器上的分类下，我可以得到一个很长的测试数据预测列表。这意味着我必须手动将所有 + 相加。

这将需要很长时间，尤其是在有大量数据的情况下。同样也很容易出错。

在 Experimenter 下，我可以对相同的数据设置 10 倍交叉验证分类器（重复 1 次）。我可以将“行”设置为“折叠”，然后当我转到“列”并将其设置为“数字不正确”时，它只显示十个折叠中的 6 个。

那么我如何获得所有 10 折的正确数字，为什么要这样做？

【问题讨论】：

标签： machine-learning weka

【解决方案1】：

在分析选项卡中，您应该选择：

1) 行：折叠

2) 列：您必须选择运行、折叠和您想要的结果。

如果您省略第二部分中的选项之一，您将只能看到部分信息。

【讨论】：

【解决方案2】：

据我了解，Weka 这样做的方式是，在 K 折交叉验证 (CV) 中，单折的单个准确度没有那么有意义。 K-fold CV 的整个想法是将数据简单地拆分为 K 个子集，然后依次省略每个折叠以进行验证。然后将验证误差计算为 K-fold 的平均值，这是我们学习算法误差的无偏估计。

更多详情请参考以下链接： https://alliance.seas.upenn.edu/~cis520/wiki/index.php?n=Lectures.Overfitting

【讨论】：

是的，但是如果您想将两个分类器与带符号的排名测试进行比较，您可能需要使用所有折叠的准确度。