链接的答案不适用于 glmnet,因为 predict.glmnet 有一些特殊性:
predict.glmnet 的数据参数称为newx,并且必须是矩阵。
除此之外,这个预测函数使用所有拟合的 lambda 来创建预测,所以如果你想要最好的,你必须这样指定。此外,建议设置对链接的响应:
使用您的示例,最佳拟合值为 alpha = 0.5 和 lambda = 0.25。 alpha 在模型内部设置,但 lambda 必须在预测期间指定。
但首先我们必须预处理测试数据(与链接答案相同):
predict(fit2$preProcess, df)
然而,这会返回一个带有类列的数据框,因此为了将其提供给predict.glmnet,必须删除响应列(因子)并将数据框转换为矩阵:
as.matrix(predict(fit2$preProcess, df)[,-21])
现在调用predict.glmnet,最佳 lambda 为 0.25,将预测类型设置为类:
library(glmnet)
prediction2 <- predict(fit2$finalModel,
newx = as.matrix(predict(fit2$preProcess,
df)[,-21]),
type = "class",
s = 0.25)
head(prediction2)
1
[1,] "0"
[2,] "1"
[3,] "0"
[4,] "0"
[5,] "0"
[6,] "0"
编辑:回答有关混淆矩阵差异的已编辑问题。
当您在train 的输出上调用confusionMatrix 时,结果矩阵是从重采样期间的非折叠预测中获得的 - 因为这些是测试集预测,所以偏差较小。
当您在所有数据(这是fit2$finalModel)上拟合模型并使用它来预测您正在创建训练集预测的相同数据时 - 由于模型是使用这些观察结果拟合的,因此存在很大偏差。这就是在这种情况下,与在fit2 上调用confusionMatrix 相比,非对角线总和要少得多的原因。这有时被称为过度拟合——模型对它已经看到的数据的预测要好得多。
总之
`confusionMatrix(fit2)`
从不折叠的预测中产生一个混淆矩阵。这可以作为模型选择的指标。
同时
confusionMatrix(as.factor(prediction2), g_f)
根据对训练数据的模型预测生成高度偏差的混淆矩阵。这不应用作模型选择的指标。
EDTI2:我突然想到这可能是XY problem。
如果您只想要交叉验证的预测,您可以简单地使用:
fit2$pred
如果你想计算这些的 AUC,你应该在 trainControl 中指定你想要的类概率:
train_control <- trainControl(
method="cv",
number = 3,
savePredictions = TRUE,
classProbs = TRUE)
另一个问题是类级别必须是有效的变量名称,因此 0 和 1 等数字不起作用,一个简单的解决方法是:
df$g_f <- factor(df$g_f,
levels = c(0, 1),
labels = c("zero", "one"))
合体后:
set.seed(3)
fit2 <- train(g_f ~ .,
data = df,
trControl = train_control,
tuneGrid = search_grid,
preProc = c("BoxCox", "center", "scale"),
method = "glmnet")
预测在fit2$pred:
head(fit2$pred)
#output
pred obs rowIndex zero one alpha lambda Resample
1 one one 2 0.4513397 0.5486603 0 1 Fold1
2 zero zero 4 0.5764889 0.4235111 0 1 Fold1
3 zero one 5 0.5154925 0.4845075 0 1 Fold1
4 one one 6 0.4836418 0.5163582 0 1 Fold1
5 zero zero 7 0.5199623 0.4800377 0 1 Fold1
6 one zero 8 0.4770536 0.5229464 0 1 Fold1
这些预测适用于所有经过测试的超参数组合,以获取性能最佳的超参数:
library(tidyverse)
fit2$pred %>%
filter(alpha == fit2$bestTune$alpha&
lambda == fit2$bestTune$alpha) -> best_preds
有两种方法可以从这些预测中获取指标。
方法 1。您可以使用组合折叠预测来做到这一点(当您拥有较小的数据集时频率较低但很有用,因此折叠性能存在很大差异)
pROC::roc(best_preds$obs, best_preds$one)$auc
#output
Area under the curve: 0.6631
方法 2。您可以按折叠和平均计算它(更常见,并且插入符号在内部用于任何指标:
library(tidyverse)
best_preds %>%
group_by(Resample) %>%
summarise(auc = as.numeric(pROC::roc(obs, one)$auc))
#output
Resample auc
<chr> <dbl>
1 Fold1 0.592
2 Fold2 0.757
3 Fold3 0.614
以上是每折的AUC
平均:
best_preds %>%
group_by(Resample) %>%
summarise(auc = as.numeric(pROC::roc(obs, one)$auc)) %>%
ungroup() %>%
summarise(mean_auc = mean(auc))
#output
mean_auc
<dbl>
1 0.654