我有一个概念性问题，希望有人能澄清一下。假设在 GridSearchCV 中运行 CV=10 时，模型将在 9 个分区上进行训练并在剩余的 1 个分区中进行测试。
问题是这里更相关的是什么？来自 9 个分区的平均 AUC 结果或测试分区的平均 AUC。如果这 2 个（9 对 1 分区）上的 AUC 相距很远，假设相距超过 20%，该怎么办。这说明了训练模型的功效是什么？关于 AUC 可以走多远的任何经验法则？通常报告的模型性能度量是什么，9 分区 AUC（训练）或测试分区？
谢谢！
【问题讨论】：
标签： python gridsearchcv
我假设它是机器学习模型（例如神经网络）
当在 gridsearchCV 中运行让我们说 CVfold =10 时，模型变得越来越 在 9 个分区上训练并在剩余的 1 个分区上进行测试。
来自 9 个分区或 avg 的平均 auc 结果
通常，他的模型在 1 个分区（训练集）上训练，该分区由 9 个任意分区组成。因此，没有 9 个分区的平均 AUC 这样的东西，只有一个火车 AUC。如果您确定在 1 个分区上进行训练、计算指标、在第 2 个分区上进行训练、计算指标等等，直到您从 9 个分区获得指标结果并将它们取平均值，那么这句话是不正确的。
关键问题：
问题是这里更相关的是什么？
取决于您要回答的问题。 测试分区的结果应该会告诉您或多或少的性能，除非您将模型发布给全世界（对看不见的数据进行预测）。但是在使用 CV 时很容易引入某种数据泄漏，数据泄漏会降低结果的可信度。
训练和测试之间的比较应该告诉您是过度拟合模型还是应该使模型更拟合。我不知道差异有多大（建议进一步阅读关于过度拟合）的经验法则，但我从未见过有人接受 20% 的差异。
【讨论】：