R - cv.glmnet 错误：矩阵必须具有相同的列数

Question

从具有大型稀疏数据集的 glmnet 包中运行 R cv.glmnet 函数我经常收到以下错误：

# Error: Matrices must have same number of columns in .local(x, y, ...)

我已经用随机生成的数据复制了错误：

set.seed(10)

X <- matrix(rbinom(5000, 1, 0.1), nrow=1000, ncol=5)
X[, 1] <- 0
X[1, 1] <- 1

Y <- rep(0, 1000)
Y[c(1:20)] <- 1

model <- cv.glmnet(x=X, y=Y, family="binomial", alpha=0.9, standardize=T, 
                   nfolds=4)

这可能与初始变量筛选有关（基于X 和Y 的内积）。 glmnet 不是将系数固定为零，而是从X 矩阵中删除变量，并且这是针对每个验证集完成的。然后，如果变量在其中一些中被删除并保留在其他中，则会出现错误。

有时增加nfolds 会有所帮助。这与假设一致，因为 nfolds 的数量越多意味着验证子集越大，并且在其中任何一个中删除变量的机会就越小。

一些补充说明：

错误仅出现在接近 1 的alpha（alpha=1 相当于 L1 正则化）并使用标准化。 family="Gaussian" 不会出现。

你认为会发生什么？

Answer 1

这个例子是有问题的，因为一个变量只有一个 1，其余的都是零。这是逻辑回归可能发散（如果没有正则化）的情况，因为将该系数驱动到无穷大（根据响应加减）将完美地预测观察结果，并且不会影响其他任何事情。

现在模型是正则化的，所以这不应该发生，但它确实会导致问题。 我发现通过减小 alpha（朝向山脊，在本例中为 0.5）问题就消失了。

这里真正的问题是每个折叠使用的 lambda 序列，但这有点技术性。我将尝试对 cv.glmnet 进行修复，以消除此问题。

Trevor Hastie（glmnet 维护者）