通过插入符号返回奇怪的值调整 mtry

Question

我使用caret 包中的train 函数调整randomForest 的mtry 参数。我的X 数据中只有48 列，但是train 返回mtry=50 作为最佳值，而这不是有效值(>48)。对此有何解释？

> dim(X)
[1] 93 48
> fit <- train(level~., data=data.frame(X,level), tuneLength=13) 
> fit$finalModel

Call:
 randomForest(x = x, y = y, mtry = param$mtry) 
               Type of random forest: classification
                     Number of trees: 500
No. of variables tried at each split: 50

        OOB estimate of  error rate: 2.15%
Confusion matrix:
     high low class.error
high   81   1  0.01219512
low     1  10  0.09090909

不设置tuneLength参数就更惨了：

> fit <- train(level~., data=data.frame(X,level)) 
> fit$finalModel 

Call:
 randomForest(x = x, y = y, mtry = param$mtry) 
               Type of random forest: classification
                     Number of trees: 500
No. of variables tried at each split: 55

        OOB estimate of  error rate: 2.15%
Confusion matrix:
     high low class.error
high   81   1  0.01219512
low     1  10  0.09090909

我不提供数据，因为它是机密的。但是这些数据并没有什么特别之处：每一列都是数值或者是因子，并且没有缺失值。

Answer 1

数据集中的列数和预测变量的数量之间很可能存在明显差异[1]，如果任何一列是因子，则差异可能不同。您使用了公式方法，它将因子扩展为虚拟变量。例如：

> head(model.matrix(Sepal.Width ~ ., data = iris))
  (Intercept) Sepal.Length Petal.Length Petal.Width Speciesversicolor Speciesvirginica
1           1          5.1          1.4         0.2                 0                0
2           1          4.9          1.4         0.2                 0                0
3           1          4.7          1.3         0.2                 0                0
4           1          4.6          1.5         0.2                 0                0
5           1          5.0          1.4         0.2                 0                0
6           1          5.4          1.7         0.4                 0                0

所以iris 中有 3 个预测变量列，但您最终会得到 5 个（非截距）预测变量。

最大

[1] 这就是您需要提供可重现示例的原因。通常，当我准备提出问题时，当我花时间写出对问题的良好描述时，答案就会变得显而易见。