Optuna ConvergenceWarning 对 Lasso 超参数调优研究

Question

当使用 Optuna 微调我的 Lasso 模型时，我得到以下 ConvergenceWarning.. 是否可以增加 nr.迭代次数？我增加了 n_trials 但没有帮助。

我的代码：

def objective(trial):

    _alpha = trial.suggest_float("alpha", 0.0001, 0.01)
    lasso = Lasso(alpha=_alpha, random_state=random_state)
    score = cross_val_score(lasso, X_train, y_train, cv=kf, scoring="neg_root_mean_squared_error").mean()

    return score


optuna.logging.set_verbosity(0)

study = optuna.create_study(direction="maximize")
study.optimize(objective, n_trials=300)

错误/警告：

/opt/conda/lib/python3.7/site-packages/sklearn/linear_model/_coordinate_descent.py:532： 收敛警告：

目标没有收敛。您可能希望增加 迭代。对偶间隙：0.02194362081235468，公差： 0.01627441311545211

Answer 1

根据警告信息，我认为代码中的Lasso是sklearn的Lasso。所以 optuna 的n_trials 没有解决警告。

我认为指定大于默认值的Lasso 的max_iter 或tol 参数可以解决警告。