通过 varImp 按重要性提取 20 多个变量

Question

我正在处理一个包含 100 多个特征的大型数据集（这些特征都是相关的，因为它们已经过过滤；原始数据集有 500 多个特征）。我通过 caret 包中的 train() 函数并使用“ranger”方法创建了一个随机森林模型。

问题是：如何按重要性提取所有变量，而不是仅提取前 20 个最重要的变量？ varImp() 函数默认只产生前 20 个变量。

这是一些示例代码（减去训练集，它非常大）：

library(caret)
rforest_model <- train(target_variable ~ .,
                       data = train_data_set,
                       method = "ranger",
                       importance = "impurity)

这是提取变量重要性的代码：

varImp(rforest_model)

Answer 1

varImp 函数提取所有变量的重要性（即使模型不使用它们），它只打印出前 20 个变量。考虑这个例子：

library(mlbench) #for data set
library(caret)
library(tidyverse)

set.seed(998)
data(Ionosphere)

rforest_model <- train(y = Ionosphere$Class,
                       x = Ionosphere[,1:34],
                       method = "ranger",
                       importance = "impurity")

nrow(varImp(rforest_model)$importance) #34 variables extracted

让我们检查一下：

varImp(rforest_model)$importance %>% 
  as.data.frame() %>%
  rownames_to_column() %>%
  arrange(Overall) %>%
  mutate(rowname = forcats::fct_inorder(rowname )) %>%
  ggplot()+
    geom_col(aes(x = rowname, y = Overall))+
    coord_flip()+
    theme_bw()

请注意，V2 在该数据集中是一个零方差特征，因此它的重要性为 0，模型根本不使用它。