使用因子进行固定效应回归时的内存问题

Question

我正在处理包含 900,000 个观察值的数据。有一个分类变量x 具有 966 个唯一值，需要用作固定效果。我在回归中使用factor(x) 包含固定效果。它给了我这样的错误

错误：无法分配大小为 6.9 Gb 的向量

如何解决这个错误？还是我需要在回归中为固定效果做一些不同的事情？

那么，我该如何运行这样的回归：

rlm(y~x+ factor(fe), data=pd)

Answer 1

由一个因子构建的虚拟变量集的信息含量非常低。例如，仅考虑与 966 级分类预测器对应的模型矩阵的列，每行恰好包含一个 1 和 965 个零。

因此，您通常可以通过使用Matrix::sparse.model.matrix()（或MatrixModels::model.Matrix(*, sparse=TRUE)，如sparse.model.matrix 文档所建议的那样）构造稀疏模型矩阵来节省大量内存。但是，要使用它，您使用的任何回归机制都必须接受模型矩阵 + 响应向量，而不是需要公式（例如，要进行线性回归，您需要 sparse.model.matrix + lm.fit 而不是能够使用lm)。

与@RuiBarradas 对密集模型矩阵的 3.5Gb 估计相比：

m <- Matrix::sparse.model.matrix(~x,
     data=data.frame(x=factor(sample(1:966,size=9e5,replace=TRUE))))
format(object.size(m),"Mb")
## [1] "75.6 Mb"

如果您正在使用 MASS 包中的 rlm 函数，则应该可以使用以下方法：

library(Matrix)
library(MASS)
mm <- sparse.model.matrix(~x + factor(fe), data=pd)
rlm(y=pd$y, x=mm, ...)

请注意，我没有实际测试过这个（你没有给出一个可重现的例子）；这至少应该让您完成创建模型矩阵的步骤，但我不知道rlm() 是否会进行任何会破坏和/或使模型矩阵非稀疏的内部计算。