【发布时间】：2011-12-16 05:57:32
【问题描述】：
是否可以通过交叉验证和使用训练/测试集进行评估？我了解交叉验证与保留评估，但我对是否将它们组合在一起感到困惑。
【问题讨论】：
-
如果你在做 CV，你没有训练集和测试集，而是所有数据都用于不同时间的训练和测试。我看不出结合这些技术有什么好处，也许你可以澄清你希望达到的目标。
标签： machine-learning
【发布时间】：2011-12-16 05:57:32
【问题描述】：
交叉验证和保持评估都广泛用于估计模型的准确性（或其他一些性能衡量标准）。通常，如果您拥有大量可用数据，您可能会使用保持评估，但如果您受到更多限制，则可能会使用交叉验证。
但它们也可以用于其他目的 - 特别是模型选择和优化 - 人们可能通常想要做这些事情以及估计模型的准确性。
例如，您可能希望对模型进行特征选择（在模型的多个版本中进行选择，每个版本都使用不同的变量子集构建），然后评估最终选择的模型。对于最终评估，您可以保留一个测试集以进行保留验证；但为了选择最佳的变量子集，您可能会比较在每个子集上构建的模型的准确度，这些准确度是通过对训练集的交叉验证来估计的。
模型的其他方面也可以使用这种混合方法进行优化，例如，来自神经网络的复杂性参数或来自岭回归的岭参数。
希望有帮助！
【讨论】：