交叉验证是如何执行的以及 GridSearchCV() 具体是如何执行的？

Question

GridSearchCV()（和或RandomizedSearchCV()）如何在 scikit 中实现？我想知道以下几点：在使用其中一种技术时，如何考虑以下方面：

• 验证集
• 型号选择
• 超参数调优
• 预测

？这是一张总结我困惑的图片：

什么时候发生什么，多久发生一次？也许为了简单起见，让我们假设一个单一的神经网络作为我们的模型。 到目前为止我的理解：

在第一次迭代中，模型适合训练折叠，分成不同的折叠。在这里我已经很挣扎了：模型是在单折上训练然后在验证折上测试的吗？ 那么下一个折叠会发生什么？模型是否保持其第一次训练折叠所获得的权重，还是会为下一次训练折叠重新初始化？

更准确地说：在第一次迭代中，模型是否在所有折叠之间独立地在验证集上拟合了四次并测试了四次？

当下一次迭代开始时，模型不会保留第一次迭代的信息，对吧？ 因此，所有迭代和所有折叠都是相互独立的吗？ 这里的超参数是如何调整的？

在上面的例子中，总共有 25 个折叠。具有一组恒定超参数的模型是否适合并测试了 20 次？ 假设我们有两个超参数需要调整：学习率和辍学率，都有两个级别：

• learning_rate = [0.3, 0.6] 和
• dropout_rate = [0.4, 0.8]。

神经网络现在能拟合 80 次吗？当不仅有一个模型，而且例如两个模型（神经网络和随机森林），整个过程会执行两次？

有没有可能看看GridSearchCV()会考虑多少折？

我见过Does GridSearchCV perform cross-validation?、Model help using Scikit-learn when using GridSearch 和scikit-learn GridSearchCV with multiple repetitions，但我看不到对我的问题的清晰准确的答案。

Answer 1

所以k-folds方法：

您将训练集分成 n 部分（k 折），例如 5。您将第一部分作为验证集，将其他 4 部分作为训练集。您进行培训，这将为您提供培训/简历表现。您这样做 5（折叠次数）次，每个折叠成为验证集，其他折叠成为训练集。最后，您对性能进行平均以获得模型的 cv 性能。这是用于 k 折的。

现在，GridSearchCV 是一个使用 k-folds 方法的超参数调谐器。原则是你给gridsearch一个包含你想要测试的所有超参数的字典，然后它会测试所有的超参数（字典）并选择最好的超参数集（那些具有最佳模型cv性能的）。这可能需要很长时间。

您在 gridsearch 中传递一个模型（估计器）、一组参数以及是否需要 k-folds 的数量。

例子：

GridSearchCV(SVC(), parameters, cv = 5)

其中SVC() 是估计器，parameters 是您的超参数字典，cv 是折叠数。