Gridsearchcv：内部逻辑

Question

我试图了解 Gridsearchcv 的逻辑是如何工作的。看了here，官方的documentation，还有源码，但是没搞明白：

Gridsearchcv 背后的一般逻辑是什么？

澄清：

1. 如果我使用默认的 cv = 5，输入数据的分割百分比是多少 进入：训练、验证和测试？
2. Gridsearchcv 多久执行一次这样的拆分，它如何决定哪个观察属于训练/验证/测试？
3. 既然已经完成了交叉验证，那么对于超参数调整，平均在哪里发挥作用？即，最优超参数值是否可以优化某种平均值？

这个问题here 与我有同感，但我不知道这些信息是最新的，我不确定我是否了解那里的所有信息。例如，根据OP，我的理解是：

• 测试集占输入数据集的 25%，创建一次。
• 训练集和验证集的联合对应创建一次，这个联合是原始数据的75%。
• 然后，该过程创建 5 个（因为 cv = 5）进一步将这 75% 拆分为 60% 训练和 15% 验证
• 优化的超参数值是优化这 5 次拆分中某些指标的平均值的值。

这种理解是否正确并且现在仍然适用？以及程序如何将原来的25%-75%拆分？

Answer 1

1. 首先将数据拆分为训练和测试。测试集被省略用于模型的后期训练和优化。 gridsearchcv 获取 75% 的数据并将它们分成 5 个切片。首先，它训练 4 个切片并在 1 个上进行验证，然后采用 4 个切片引入先前遗漏的集合进行验证并在新集合上进行测试等...... 5 次。

然后可以查看每次运行的性能 + 它们的平均值，以了解您的模型的整体行为方式。

1. 由于您正在执行gridsearch，因此best_params 将在建模结束时保存以预测您的测试集。
2. 总而言之，在整个训练之后，将为您的模型选择并使用最佳参数，因此，您可以轻松地将它们用于predict(X_test)

Read more here.

4. 通常如果您不执行 CV，模型会尝试使用预设参数优化其权重，而遗漏的测试集将有助于评估模型性能。但是，对于真正的模型训练，将训练数据重新拆分为训练和验证非常重要，您可以在其中使用验证来超调模型的参数（手动）。但是，过度调优模型以在验证集上获得最佳性能是作弊。

理论 K 折叠

更多详情