交叉验证套索回归

Question

我目前正在使用套索进行特征选择。首先，我执行 10 倍交叉验证以找到具有最低 MSE 的收缩参数。我现在尝试自己计算训练集的 MSE，但是，这个值不适合 cv-plot。

cv <- cv.glmnet(as.matrix(mtcars[,c(1,3:9)]), mtcars[,c(2)], alpha=1, nfolds=10, type.measure="mse")
plot(cv)

lasso.mod <- glmnet(as.matrix(mtcars[,c(1,3:9)]),mtcars[,c(2)],alpha=1,lambda=cv$lambda.min)
y <- predict(lasso.mod, s=cv$lambda.min, newx=as.matrix(mtcars[,c(1,3:9)]))
mean((mtcars[,c(2)]-y)^2) # calculate MSE

上面和下面的公式有什么区别？据说下面的公式提供了套索的 MSE，但为什么两个值不相同？准确地说，我使用与计算 MSE 相同的数据集进行交叉验证。

cv$cvm[cv$lambda == cv$lambda.min]   

Answer 1

交叉验证 MSE 不应该等于整个训练数据集的 MSE，因为它们是完全不同的两个概念。

某个 lambda 的交叉验证 MSE 是：如果将训练数据集分成 10 个部分，则对每个部分执行以下操作：使用 lambda 和其他 9 个部分拟合 lasso 模型并计算该部分的 MSE，以及计算您拥有的 10 个 MSE 的平均值。这是交叉验证 MSE，它与 MSE 在训练数据集上完全不同。