Sklearn：在 n_iter 参数上的 GridSearchCV

Question

Sklearn recommends 认为对于迭代估计器，迭代次数应由 .fit() 的 n_iter 参数指定。

使用GridSearchCV 对最优超参数运行网格搜索允许您仅指定可使用estimator.set_params() 设置的参数的值范围。

所以我想知道，如何运行网格搜索（以及其他）迭代次数？ 一种解决方案是更改估算器代码，以便在构造函数中设置n_iter，并由.set_params() 设置，但由于某种原因，明确不建议这样做，如上所述。

编辑： 这是一个例子：

创建一个需要两个参数的估算器：

estimator = SomeEstimator(alpha=5, theta=0.001)

您可以使用fit() 方法在数据 X 和标签 y 上拟合估计器。此外，假设估算器运行迭代算法，您可以指定它应该运行多少次。 Sklearn 建议为此使用fit() 函数的参数n_iter：

estimator.fit(X, y, n_iter=4)

要找到 alpha 和 theta 的最佳参数值，您可以运行 GridSearchCV，它针对这些参数的所有组合运行 estimator.fit()：

GridSearchCV(estimator, {'alpha':[5, 6], 'theta':[0.1, 0.01, 0.001]}).fit(X, y, n_iter=4)

这将运行 alpha/theta 组合的估算器：

(5, 0.1)
(5, 0.01)
(5, 0.001)
(6, 0.1)
(6, 0.01)
(6, 0.001)

但我想将这六种组合用于n_iter (1..10) 的不同值。当然我可以使用 for 循环，但这不是 GridSearchCV 的重点。

Answer 1

您可以使用GridSearchCV 来找到最佳的n_iter 超参数，并以与其他超参数相同的方式将其作为参数的估计器。以下作品可在 sklearn 0.19.0

上找到

np.random.seed(42)
clf = SGDClassifier()
params = {'n_iter': [30, 50, 100], 'alpha': [0.01, 0.1, 1.0]}
gs = GridSearchCV(clf, params, scoring='accuracy', cv=5)
X = np.random.random((100, 5))
y = np.random.choice([0, 1], 100)
gs.fit(X, y)
print gs.best_params_

输出：

{'alpha': 0.1, 'n_iter': 30}