从 cv.glmnet 得到混淆矩阵

Question

问题说明

我正在比较几个模型，而我的数据集非常小，以至于我宁愿使用交叉验证也不愿拆分验证集。我的一个模型是使用glm“GLM”制作的，另一个是cv.glmnet“GLMNET”制作的。在伪代码中，我希望能够做到以下几点：

initialize empty 2x2 matrices GLM_CONFUSION and GLMNET_CONFUSION

# Cross validation loop
For each data point VAL in my dataset X:
  Let TRAIN be the rest of X (not including VAL)

  Train GLM on TRAIN, use it to predict VAL
  Depending on if it were a true positive, false positive, etc...
    add 1 to the correct entry in GLM_CONFUSION

  Train GLMNET on TRAIN, use it to predict VAL
  Depending on if it were a true positive, false positive, etc...
    add 1 to the correct entry in GLMNET_CONFUSION

这并不难，问题在于cv.glmnet已经在使用交叉验证 推导出罚分的最佳值lambda。如果我可以让cv.glmnet 自动构建最佳模型的混淆矩阵会很方便，即我的代码应该如下所示：

initialize empty 2x2 matrices GLM_CONFUSION and GLMNET_CONFUSION

Train GLMNET on X using cv.glmnet
Set GLMNET_CONFUSION to be the confusion matrix of lambda.1se (or lambda.min)

# Cross validation loop
For each data point VAL in my dataset X:
  Let TRAIN be the rest of X (not including VAL)

  Train GLM on TRAIN, use it to predict VAL
  Depending on if it were a true positive, false positive, etc...
    add 1 to the correct entry in GLM_CONFUSION

这不仅方便，而且在某种程度上是必需的 - 有两种选择：

1. 在交叉验证循环的每次迭代中，使用 cv.glmnet 在 TRAIN 上查找新的 lambda.1se。 （即嵌套的交叉验证）
2. 使用cv.glmnet 在X 上找到lambda.1se，然后“修复”该值并将其视为正常模型，以便在交叉验证循环期间进行训练。 （两个平行的交叉验证）

第二个在哲学上是不正确的，因为这意味着 GLMNET 将拥有关于它试图在交叉验证循环中预测什么的信息。第一个需要很长时间——理论上我可以做到，但可能需要半个小时，我觉得应该有更好的方法。

到目前为止我所看到的

我查看了 cv.glmnet 的文档 - 看起来你不能按照我的要求做，但我对 R 和数据科学一般都很陌生，所以我很可能错过了一些东西.

我也在这个网站上看过一些帖子，乍一看似乎相关，但实际上要求的是不同的东西 - 例如，这个帖子：tidy predictions and confusion matrix with glmnet

上面的帖子看起来与我想要的相似，但它并不是我想要的——看起来他们正在使用predict.cv.glmnet 进行新的预测，然后创建它的混淆矩阵——而我想要在交叉验证步骤中做出的预测的混淆矩阵。

我希望有人能够做到这一点

1. 解释是否以及如何按照所述创建混淆矩阵
2. 表明除了我提出的两个方案之外还有第三种方案
   • “手动实现cv.glmnet”不是一个可行的替代方案：P
3. 最后声明我想要的东西是不可能的，我需要做我提到的两个替代方案之一。

其中任何一个都是这个问题的完美答案（尽管我希望选项 1！）

抱歉，如果我错过了一些简单的事情！

Answer 1

感谢@missuse 的建议，我得到了一个适合我的解决方案！它对应于我帖子中的选项 2，此选项是使用 caret 包。

本质上，我们需要将自定义摘要函数附加到插入符号的模型训练器。在我开始工作之前，我主要是迷糊了几个小时 - 可能有更好的方法来做到这一点，我鼓励其他人发布其他答案，如果他们知道的话！我的代码在底部（它经过了轻微修改，使其不特定于我正在处理的任务）

希望如果有人有类似的问题，那么这会有所帮助。我发现对解决此问题有用的另一个资源是以下帖子：https://stats.stackexchange.com/questions/299653/caret-glmnet-vs-cv-glmnet，因为在其中您可以非常清楚地看到如何将对 cv.glmnet 的调用转换为对插入符号的 train 版本的 glmnet 的调用。

library(caret)

# Confusion Matrix of model outputs
CM <- function(model) {
  # Need to find index of best tune found by
  # cross validation
  idx <- 1
  for (i in 1:nrow(model$results)) {
    check <- model$results[i,]
    foundBest <- TRUE
    for (col in colnames(model$bestTune)) {
      if (check[,col] != model$bestTune[,col]) {
        foundBest <- FALSE
        break
      }
    }
    if (foundBest) {
      idx <- i
      break
    }
  }
  
  # They are averaged w.r.t. the number of folds (ctrl$number)
  # hence the multiplication
  c(
    model$results[idx,]$true_pos,
    model$results[idx,]$false_pos,
    model$results[idx,]$false_neg,
    model$results[idx,]$true_neg
  ) * model$control$number
}

# Summary function from the training to give confusion metric
SummaryFunc <- function (data, lev = NULL, model = NULL) { 

    # This puts our output in the right format
    out <- postResample(data$pred, data$obs)

    # Get the confusion matrix
    cm <- confusionMatrix(
      factor(data$pred, levels=c(0, 1)),
      factor(data$obs, levels=c(0, 1))
    )$table
    
    # Add those details to the output
    oldnames <- names(out)
    out <- c(out, cm[1, 1], cm[2, 1], cm[1, 2], cm[2, 2])
    names(out) <- c(oldnames, "true_pos", "false_pos", "false_neg", "true_neg")
    
    out
}


# 10-fold cross validation, as in cv.glmnet implementation
ctrl <- trainControl(
  method="cv",
  number=10,
  summaryFunction=SummaryFunc,
)


# Example of standard glm
our.glm <- train(
  your_formula,
  data=your_data,
  method="glm",
  family=gaussian(link="identity"),
  trControl=ctrl,
  metric="RMSE"
)

# Example of what used to be cv.glmnet
our.glmnet <- train(
  your_feature_matrix,
  your_label_matrix,
  method="glmnet",
  family=gaussian(link="identity"),
  trControl=ctrl,
  metric="RMSE",
  tuneGrid = expand.grid(
    alpha = 1,
    lambda = seq(0.001, 0.1, by=0.001)
  )
)

CM(our.glm)
CM(our.glmnet)