使用相同的数据进行测试和验证答案

【问题标题】：Use same data for test and validation使用相同的数据进行测试和验证
【发布时间】：2020-05-24 20:03:15
【问题描述】：

嘿，我正在训练一个 CNN 模型，想知道如果我使用相同的数据进行验证和测试会发生什么？该模型是否也在验证数据上进行训练？（我的模型能看到验证数据吗？）还是只计算误差和准确度并考虑到训练？

【问题讨论】：

【解决方案1】：

您使用您的 validation_set 来调整您的模型。这意味着您不会在这些数据上进行训练，但模型会将其考虑在内。例如，您使用它来调整模型的超参数。

为了获得良好的评估 - 作为测试集，您应该使用该模型完全未知的数据。

【讨论】：

【解决方案2】：

查看this article 了解更多信息，我在此指出与您的问题最相关的部分：

验证数据集是从训练中保留的数据样本用于在调整时对模型技能进行估计的模型模型的超参数。

验证数据集与测试数据集不同阻止模型的训练，而是用来给对最终调整模型的技能的无偏估计，当在最终模型之间进行比较或选择。

【讨论】：

【解决方案3】：

如果您使用相同的集合进行验证和测试，您的模型可能会过拟合（因为它在最终测试阶段之前已经看到了测试数据）。

【讨论】：