展开 data.tables 的列表列

Question

我有一个带有列表列的data.table，其中每个元素都是一个data.table：

dt <- data.table(id = c(1, 1, 2),
                 var = list(data.table(a = c(1, 2), b = c(3, 4)),
                            data.table(a = c(5, 6), b = c(7, 8)),
                            data.table(a = 9, b = 10)))

dt
# id             var
# 1:  1 <data.table>
# 2:  1 <data.table>
# 3:  2 <data.table>

现在我想“取消列出”这个结构：

   a  b id
1: 1  3  1
2: 2  4  1
3: 5  7  1
4: 6  8  1
5: 9 10  2

我知道如何使用rbindlist 扩展嵌入的data.table 部分，但只是不知道如何将扁平化的data.table 与变量“id”绑定。

原始数据集包含 3000 万行和数十个变量，因此如果您提出不仅可行而且内存高效的解决方案，我将不胜感激。

Answer 1

在这种情况下dt[, var[[1]], by=id] 有效。但是，我使用rbindlist 作为OP 提到的：

dt[, r := as.character(.I) ]
res <- dt[, rbindlist(setNames(var, r), id="r")]

如果你真的需要那里的任何变量，然后合并r（dt 的行）：

res[dt, on=.(r), `:=`(id = i.id)]

这在某些方面比dt[, var[[1]], by=id] 更好：

• rbindlist 应该比有很多 by= 组的东西更快。
• 如果dt 中有更多变量，则所有变量都必须以by= 结尾。
• 可能根本不需要从 dt 继承 vars，因为以后总是可以从该表中获取它们，并且它们在那里占用的内存要少得多。