BayesSearchCV 超参数依赖答案

【问题标题】：BayesSearchCV hyperparameter dependencyBayesSearchCV 超参数依赖
【发布时间】：2021-08-30 18:06:10
【问题描述】：

我正在使用 BayesSearchCV 以使用 Bayssian 优化找到最佳超参数。使用 BayesSearchCV 的语法如下所示：

clas_model = LogisticRegression(max_iter=5000)
search_space =
{
    "penalty": Categorical(['l1', 'l2', 'elasticnet', 'none']),
    "solver": Categorical(['lbfgs', 'newton-cg', 'liblinear', 'sag', 'saga']),
    "fit_intercept": Categorical([True, False])
}


bayes_search = BayesSearchCV(clas_model, search_space, n_iter=12, scoring="accuracy", n_jobs=-1, cv=5)
bayes_search.fit(X, y.values.ravel(), callback=on_step)
predictions_al = cross_val_predict(bayes_search, X, y.values.ravel(), cv=folds)

在这种情况下，求解器“newton-cg”不接受惩罚“l1”，因此超参数之间存在依赖关系。有什么方法可以使用这个库来配置它吗？

【问题讨论】：

标签： python machine-learning parameters hyperparameters

【解决方案1】：

通过查看 GridCV 或 RandomCV 等其他库，我意识到我们可以将不同的 search_spaces 提供到一个数组中，而这在 BayssianCV 中没有记录，但其他库中有一些快速示例，没有详细信息。

最后，由于求解器、惩罚和其他参数（此处描述为 https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html）之间的高度依赖性，语法应如下所示：

clas_model = LogisticRegression(max_iter=5000)
search_space =
  [
   {
    "solver": Categorical(['liblinear']),
    "penalty": Categorical(['l1', 'l2']),
    "fit_intercept": Categorical([True, False]),
    #"warm_start": Categorical([True, False])
   },
   {
    "solver": Categorical(['lbfgs', 'newton-cg', 'sag']),
    "penalty": Categorical(['l2', 'none']),
    "fit_intercept": Categorical([True, False]),
    #"warm_start": Categorical([True, False])
   },
   {
    "solver": Categorical(['saga']),
    "penalty": Categorical(['l1', 'l2', 'none']),
    "fit_intercept": Categorical([True, False]),
    #"warm_start": Categorical([True, False])
   },
   {
    "solver": Categorical(['saga']),
    "penalty": Categorical(['elasticnet']),
    "fit_intercept": Categorical([True, False]),
    "l1_ratio": Real(0, 1, prior='uniform'),
    #"warm_start": Categorical([True, False])
   },
  ]

“newton-cg”、“sag”和“lbfgs”求解器仅支持带原始公式的 L2 正则化，或不支持正则化。 “liblinear”求解器同时支持 L1 和 L2 正则化，对偶公式仅用于 L2 惩罚。 Elastic-Net 正则化仅由“saga”求解器支持。

【讨论】：