如何通过“信息增益”获得 xgboost 中的特征重要性？答案

【问题标题】：How to get feature importance in xgboost by 'information gain'?如何通过“信息增益”获得 xgboost 中的特征重要性？
【发布时间】：2017-04-07 20:13:08
【问题描述】：

我们可以通过“权重”获得特征重要性：

model.feature_importances_

但这不是我想要的。我想通过信息获取的重要性。

我们可以通过“增益”图获得特征重要性：

xgboost.plot_importance(model, importance_type='gain')

但是，我不知道如何从上图中获取特征重要性数据。或者

是否有像model.feature_importances_ 这样的功能来赋予增益功能重要性？这两种方法中的任何一种都可以。如果问题不清楚，请在 cmets 中告诉我

【问题讨论】：

【解决方案1】：

在当前版本的 Xgboost 中，默认的重要性类型是 gain，参见 docs 中的 importance_type。

特征重要性也可以使用来自scikit-learn 包的permutation_importance 或SHAP 值来计算。您可以在我的this blog post 中阅读有关在 Xgboost 中计算特征重要性的替代方法的详细信息。

【讨论】：

【解决方案2】：

你可以从

model.booster().get_score(importance_type='gain')

【讨论】：

【解决方案3】：

其实我对你的问题有点不清楚，但我还是会试着回答一下。

我猜你需要像特征选择这样的东西。如果我是对的，那么您可以检查 sklearn.feature_selection。

有很多重要的函数，如chi2、SelectKBest、mutual_info_classif、f_regression、mutual_info_regression等。

【讨论】：