Python：LightGBM 超参数调整值错误答案

【问题标题】：Python: LightGBM Hyperparameter Tuning Value ErrorPython：LightGBM 超参数调整值错误
【发布时间】：2021-07-04 11:51:15
【问题描述】：

我编写了以下代码在 LightGBM 分类器模型上执行 RandomizedSearchCV，但我收到以下错误。

ValueError: For early stopping, at least one dataset and eval metric is required for evaluation

代码

import lightgbm as lgb
fit_params={"early_stopping_rounds":30, 
            "eval_metric" : 'f1', 
            "eval_set" : [(X_val,y_val)],
            'eval_names': ['valid'],
            'verbose': 100,
            # 'categorical_feature': 'auto'
            }

from scipy.stats import randint as sp_randint
from scipy.stats import uniform as sp_uniform
param_test ={'num_leaves': sp_randint(6, 50), 
             'min_child_samples': sp_randint(100, 500), 
             'min_child_weight': [1e-5, 1e-3, 1e-2, 1e-1, 1, 1e1, 1e2, 1e3, 1e4],
             'subsample': sp_uniform(loc=0.2, scale=0.8), 
             'colsample_bytree': sp_uniform(loc=0.4, scale=0.6),
             'reg_alpha': [0, 1e-1, 1, 2, 5, 7, 10, 50, 100],
             'reg_lambda': [0, 1e-1, 1, 5, 10, 20, 50, 100]}

n_HP_points_to_test = 100

from sklearn.model_selection import RandomizedSearchCV
#n_estimators is set to a "large value". The actual number of trees build will depend on early stopping and 5000 define only the absolute maximum
clf = lgb.LGBMClassifier(max_depth=-1, 
                         random_state=42, 
                         silent=True, 
                         metric='f1', 
                         n_jobs=4, 
                         n_estimators=5000,
                         )

gs = RandomizedSearchCV(
    estimator=clf, param_distributions=param_test, 
    n_iter=n_HP_points_to_test,
    scoring='f1',
    cv=3,
    refit=True,
    random_state=41,
    verbose=True)

gs.fit(X_trn, y_trn, **fit_params)
print('Best score reached: {} with params: {} '.format(gs.best_score_, gs.best_params_))

尝试过的解决方案
我试图实施以下链接中给出的解决方案，但没有一个有效。如何解决这个问题？

【问题讨论】：

标签： python python-3.x scikit-learn classification lightgbm

【解决方案1】：

第三个链接（2020 年 2 月）中的最后一条消息表明，如果无法识别该指标，则会引发此错误，并且确实 "f1" 不是 LGBM's builtin metrics 之一。要么使用它们的内置函数之一（但您仍然可以使用 F1 作为超参数搜索的选择标准），或者创建自定义指标（请参阅LGBMClassifier.fit method's documentation 末尾的注释）。

【讨论】：

【解决方案2】：

F1 不在 LightGBM 的内置指标中。您可以轻松添加自定义 eval_metric：

from sklearn.metrics import f1_score

def lightgbm_eval_metric_f1(preds, dtrain):
    target = dtrain.get_label()
    weight = dtrain.get_weight()

    unique_targets = np.unique(target)
    if len(unique_targets) > 2:
        cols = len(unique_targets)
        rows = int(preds.shape[0] / len(unique_targets))
        preds = np.reshape(preds, (rows, cols), order="F")

    return "f1", f1_score(target, preds, weight), True

关于优化，我宁愿使用 LightGBM (lightgbm.train) 的原生 python API 和 Optuna 框架，效果非常好。

Optuna 框架：https://github.com/optuna/optuna

但使用 Optuna 调整 LightGBM 的最简单方法是使用 MLJAR AutoML（它内置了 f1 指标）。


automl = AutoML(
    mode="Optuna"
    algorithms=["LightGBM"],
    optuna_time_budget=600, # 10 minutes for tuning 
    eval_metric="f1"
)
automl.fit(X, y)

MLJAR AutoML 框架：https://github.com/mljar/mljar-supervised

如果您想查看 MLJAR 中 LightGBM+Optuna 优化的详细信息，请查看代码https://github.com/mljar/mljar-supervised/blob/master/supervised/tuner/optuna/lightgbm.py

【讨论】：