如何衡量算法的重要性？

Question

我正在尝试了解深度学习的算法和统计逻辑。但是，我无法理解两种算法 A 和 B 分别以 75% 和 78% 的测试集准确率存在的情况。

这是否意味着如果测试集包含 100 个实例，算法 A 明显优于算法 B？

Answer 1

这样说，你不能以统计安全的方式说任何关于显着性的事情。

主要问题是您没有与精度相关的“错误”，因此您不知道这些结果有多稳定。在所谓的频率论方法中，关键原则之一是单个实验的结果根据定义是精确的。

在您的情况下，您有两个单独的实验，A 和 B，仅此而已。

相反，如果您执行更多实验，例如通过迭代打乱实例、拆分训练/测试集，最后训练算法，您将有两个分布，每个算法一个，现在您可以试着陈述一些关于意义的事情。