LightGBM 超参数调优 RandomimzedSearchCV答案

【问题标题】：LightGBM hyperparameter tuning RandomimzedSearchCVLightGBM 超参数调优 RandomimzedSearchCV
【发布时间】：2019-11-03 05:41:43
【问题描述】：

我有一个具有以下维度的数据集用于训练和测试集-

X_train = (58149, 9), y_train = (58149,), X_test = (24921, 9) 和 y_test = (24921,)

我使用 LightGBM 分类器的 RandomizedSearchCV 代码如下-

# Parameters to be used for RandomizedSearchCV-
rs_params = {
        # 'bagging_fraction': [0.6, 0.66, 0.7],
        'bagging_fraction': sp_uniform(0.5, 0.8),
        'bagging_frequency': sp_randint(5, 8),
        # 'feature_fraction': [0.6, 0.66, 0.7],
        'feature_fraction': sp_uniform(0.5, 0.8),
        'max_depth': sp_randint(10, 13),
        'min_data_in_leaf': sp_randint(90, 120),
        'num_leaves': sp_randint(1200, 1550)

}

# Initialize a RandomizedSearchCV object using 5-fold CV-
rs_cv = RandomizedSearchCV(estimator=lgb.LGBMClassifier(), param_distributions=rs_params, cv = 5, n_iter=100)

# Train on training data-
rs_cv.fit(X_train, y_train)

当我执行这段代码时，它给了我以下错误-

LightGBMError：检查失败：bagging_fraction

知道发生了什么问题吗？

谢谢！

【问题讨论】：

标签： hyperparameters lightgbm

【解决方案1】：

我已从您的代码中删除了 sp_uniform 和 sp_randint，它运行良好

from sklearn.model_selection import RandomizedSearchCV
import lightgbm as lgb


np.random.seed(0)


d1 = np.random.randint(2, size=(100, 9))
d2 = np.random.randint(3, size=(100, 9))
d3 = np.random.randint(4, size=(100, 9))
Y = np.random.randint(7, size=(100,))


X = np.column_stack([d1, d2, d3])

rs_params = {

        'bagging_fraction': (0.5, 0.8),
        'bagging_frequency': (5, 8),

        'feature_fraction': (0.5, 0.8),
        'max_depth': (10, 13),
        'min_data_in_leaf': (90, 120),
        'num_leaves': (1200, 1550)

}

# Initialize a RandomizedSearchCV object using 5-fold CV-
rs_cv = RandomizedSearchCV(estimator=lgb.LGBMClassifier(), param_distributions=rs_params, cv = 5, n_iter=100,verbose=1)

# Train on training data-
rs_cv.fit(X, Y,verbose=1)

并且根据文档 bagging_fraction 将 =1

添加详细 =1 以便您可以看到模型的配件详细信息为我们提供了您的模型的信息。

【讨论】：