使用 XGBoost R 执行特征选择答案

【问题标题】：Performing feature selection with XGBoost R使用 XGBoost R 执行特征选择
【发布时间】：2018-11-21 22:35:47
【问题描述】：

我在 R 中创建了一个预测模型。我想做特征选择。我已经读过 xgboost 不需要进行变量选择，但我为过去的 1、2、3、4 和 5 分数添加了一个变量。添加每个变量在 5 倍 5 重复交叉验证中给出这些 RMSE。

10.3 10.1 10 10.1 10.5

这表明，由于错误率产生的 U 模式，变量选择确实会产生影响。

我正在考虑遍历所有新变量，但这听起来效率低下。有没有更好的方法？

我也在考虑进行逐步回归并使用这些功能。这是个好主意吗？

【问题讨论】：

【解决方案1】：

您可以尝试根据特征重要性分数执行特征选择，仅保留重要性超过给定阈值（例如平均特征重要性）的特征，并尝试查看这是否会提高 RMSE

【讨论】：