当我们使用 10 倍交叉验证时，我们是否需要进行大量测试？答案

【问题标题】：does we need significant test when we use 10-fold cross validation?当我们使用 10 倍交叉验证时，我们是否需要进行大量测试？
【发布时间】：2015-08-20 10:43:18
【问题描述】：

通常为了表明我们的结果并非偶然，我们使用 t 检验等重要检验。但是当我们使用 10 倍交叉验证时，我们会在数据集块上学习和测试我们的模态。我想知道当我们使用 10 倍交叉验证时是否需要 t 检验？更准确地说，我的意思是什么时候应该使用 10 折交叉验证？

【问题讨论】：

在Stats Stackexchange Stats Stackexchange问这个问题你可能会更幸运
感谢您的评论@LewisNorton
我发现这两个概念之间很难找到任何相似之处。
@cel 那么他们的区别是什么？
@amirveyseh，如果你能添加更多关于你认为相似的细节，那就太好了。对我来说，这个问题有点像问飞机和树之间的区别。真的不可能给出一个合理的答案。

标签： machine-learning cross-validation

【解决方案1】：

T 检验是对您的数据进行的一种统计检验。假设您正在比较两个数据集，并且您想知道这两个数据集是否存在显着差异。然后您将进行 t 检验。

交叉验证更像是一种评估模型的技术。通常用于确保您的模型不会过度拟合。您在构建模型时执行此操作，以确保您拥有一个能够泛化到未来数据的模型。这里没有使用任何类型的统计测试。我希望这有助于您的疑问。

【讨论】：

【解决方案2】：

t 检验在应用于两个正态分布变量的差异时，是一种参数检验，用于估计我们对两个变量具有不同期望这一事实的置信度。

10 倍交叉验证是一种重采样技术，当我们不知道统计数据的分布时，可用于估计我们对统计数据的置信度（例如，但不仅限于两个随机变量之间的差异）提前（非参数设置）。

使用交叉验证，你不会得到很好的“它很重要”的结果，你只是简单地获得了该统计数据的估计分布，其中方差是我们可以拥有的置信度的指标。

在构建非参数回归或分类模型时，model selection 中经常使用交叉验证。

【讨论】：