当GridSearchCV与KerasRegressor一起使用时，scikit-learn GridSearchCV best_score_是什么意思？答案

【问题标题】：What is the meaning of scikit-learn GridSearchCV best_score_ when GridSearchCV is used with KerasRegressor?当GridSearchCV与KerasRegressor一起使用时，scikit-learn GridSearchCV best_score_是什么意思？
【发布时间】：2021-04-13 03:22:24
【问题描述】：

我使用 scikit_learn.GridSearchCV 为我的 Keras 神经网络（用于回归问题）网格搜索超参数。我的神经网络的输出是一个实数值：

#generate a model (createModel is a function which returns a keras.Sequential model)
model = keras.wrappers.scikit_learn.KerasRegressor(build_fn=createModel)

#run the GridSearch 
paramGrid = dict( epochs=[100, 250, 500], batch_size=[16, 32, 64] )
grid = sklearn.model_selection.GridSearchCV(estimator=model, param_grid=paramGrid, n_jobs=1, cv=5)

#obtain and print the result (X, y are some data)
grid_result = grid.fit(X, y)
print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))

我不明白网格搜索结果中的 best_score_ 成员究竟是什么。是理论值和预测值之间的差距吗？在我的示例中，这个 best_score_ 总是负面的（而且相当大），这对我来说没有任何意义。

【问题讨论】：

这最终将取决于您的 createModel 代码，特别是您设置的损失和/或指标。

标签： keras scikit-learn grid-search

【解决方案1】：

当您不传递特定的scoring 指标时，GridSearchCV 将使用estimator 的默认score 方法。

在您的示例中，您没有将指标传递给网格搜索实例，因此它将使用默认分数指标KerasRegressor，这是预测的平均损失（根据source code on GitHub）。因此，由于您设置了cv=5，grid_result.best_score_ 是所有 5 折的平均损失的平均值。

我建议您通过传递scoring 的值来设置自己的性能指标。例如：

grid = sklearn.model_selection.GridSearchCV(estimator=model, param_grid=paramGrid,
                                            scoring='roc_auc', n_jobs=1, cv=5)

您可以找到所有受支持指标的列表here。您也可以定义自己的。

【讨论】：

文档使用术语“准确性”是错误的；请注意，文档字符串的第一行引用了损失函数，源调用了self.model.evaluate，而后者又（tensorflow.org/api_docs/python/tf/keras/Model#evaluate）再次引用了损失函数。
谢谢@BenReiniger。我稍微编辑了答案以反映文档错误并且代码调用evaluate的事实。
scoring='roc_auc' 应仅用于分类问题 - 此处 OP 已澄清问题是回归问题。