J48 决策树没有提供更好的准确性

Question

我正在使用 Weka 分析给出二元结果的数据。我最初使用 10 倍交叉验证，并将 66% 的数据集用于训练数据。我得到的准确率为 77.1%（正确分类的实例）。然后我尝试看看当我使用 80% 拆分而不是 66% 时会发生什么，但使用相同的交叉验证。我得到的准确率只是稍微好一点，为 77.25%。更糟糕的是，当我使用 20 倍交叉验证，然后是 50 倍交叉验证时，绝对没有任何改进。我认为使用更高交叉验证的整个想法是提高准确性！而当我使用 90% 拆分 10 倍甚至 20 倍时，准确率下降到 74%。有人可以告诉我为什么当我使用更大的分割时我的准确性没有显着提高，而当我使用高交叉验证时我的准确性根本没有提高？

Answer 1

然后我尝试看看当我使用 80% 拆分而不是 66% 时会发生什么，但使用相同的交叉验证。

我认为你弄错了。百分比分割和交叉验证是误差估计的两个不同选项。因此，您可以根据百分比拆分数据，在这种情况下，算法是在训练集部分学习并在测试集部分进行评估。

关于性能提升，更大的测试集并不能保证性能提升。也许你的 66% 足以让分类器学习所有它可以学习的东西。

在大多数情况下，大约 10 次交叉验证被认为是最佳的，更多的折叠不太可能提高您的准确性。你应该在谷歌上搜索更多关于交叉验证的信息。

最后一句话，如果你的准确率不令人满意，你可能应该测试另一个分类器，或者使用你的分类器参数。