如何加速包含 Xgboost 的 MultioutputClassifier？（Python）答案

【问题标题】：How to Accelerate MultioutputClassifier that contains Xgboost? (python)如何加速包含 Xgboost 的 MultioutputClassifier？（Python）
【发布时间】：2021-07-27 11:38:15
【问题描述】：

我有以下代码，我想加速 MultioutputClassifier，我尝试为 MultioutputClassifier 编写 n_jobs = -1 但它变慢了，我为 Xgboost 尝试了 n_jobs = -1 但没有任何改变。 TREE_METHOD = 'gpu_hist' 参数也不能改变时间。

model = MultiOutputClassifier(
        xgb.XGBClassifier(objective="binary:logistic",
                          colsample_bytree = 0.5,
                          gamma = 0.1,
                          learning_rate = 0.1,
                          max_depth = 20,
                          min_child_weight = 3,
                          estimators= 100,
                          reg_lambda=5.0,
                          subsample=0.7
                         ))

关于如何加速这一点的任何想法？有什么参数可以试试吗？

【问题讨论】：

标签： python scikit-learn xgboost

【解决方案1】：

您可以尝试使用 Dask 进行一些分布式学习，如 here 所述。除此之外，还有一些suggestions关于如何提高 LightGBM（这是一个非常相似的算法）完成的训练速度，例如：

种植较浅的树（例如，通过减少 max_depth）
少种树（例如通过引入early_stopping）
使用更少的数据（例如bagging，您还可以查找更多colsample_ 参数）

【讨论】：