嵌套 lapply 性能，如何优化？

Question

我有一个data.frames 的列表。在我想通过分组 (z) 拆分的每个 data.frame 中运行一个函数，将结果放回一起，然后将嵌套 lapply 的所有结果放在一个 data.frame 中，然后展平结果列表data.frames 合并为一个data.frame。

library(plyr)
df <- data.frame(x = sample(1:200, 30000, replace = TRUE), 
                y = sample(1:200, 30000, replace = TRUE), 
                z = sample(LETTERS, 30000, replace = TRUE))

alist <- list(df,df,df) # longer in real life
answer <- lapply(alist, function(q) {
    a <- split(q,q$z)
    result.1 <- lapply(a, function(w) {
        neww <- cbind(w[,1],w[,2])
        result.2 <- colSums(neww)
    })
    ldply(result.1)
})
# cor(neww) can actually be a variey of foos I just use cor() for easy reproducibility
ldply(answer)

这会占用大量内存，而且速度也很慢。感谢@Andrie，我知道如何在开始之前清理我的工作区：

 rm(list=setdiff(ls(), "alist"))

但是有没有办法修改我的方法，比如在第二个 lapply 中丢弃 w 等，以尝试减少内存使用并加快速度？在这种情况下，foo 喜欢矩阵，所以data.table 不会是我的答案。在其他foos 中，我将需要所有w，并且课程需要是data.frame

Answer 1

试试这样的：

ldply(alist, ddply, "z", summarize, xy.foo = foo(x, y))

如果您希望x 和y 显示在最终的data.frame 中，请将summarize 替换为transform。此外，查看您的foo 使用情况，您可能需要将(x, y) 替换为cbind(x, y)。

另外，我建议您分析您的代码。最后，foo 可能是让你慢下来的原因，而不是拆分/合并部分。

Answer 2

您为什么不使用plyr 中的ddply 和llply 而只使用ldply？？

# Note: @Flodel has a very nice, simple one-line plyr solution
# Please use that.
out <- ldply(alist, function(q) {
    ddply(q, .(z), function(w) {
        neww <- w[, -3]
        result.2 <- colSums(neww) # dummy function
    })
})

第一个ldply 一个接一个地传递列表alist 的元素。因此，每次q 都是data.frame 包含在list 的每个元素中。然后，在此范围内，我们想按z 拆分。由于输入是q 是data.frame 并且输出也应该是data.frame 我们使用ddply 和第二个参数.(z) 来分割z。在这里，您进行计算，返回您想要的任何内容（在本例中为colSums）。 ldply 返回为 data.frame。

Data.table 解决方案：另一种快速 解决方案是在组合data.frame 上使用data.table，可以如下实现（@Roland 在他的 cmets 中也提到过） ：

require(data.table)
# for creating a group 
group <- vapply(alist, nrow, integer(1))
dt <- data.table(do.call(rbind, alist))
# create group
dt[ , grp := rep(1:3, group)]
setkey(dt, "grp", "z")
# call your function (here column means)
dt[, lapply(.SD, mean), by="grp,z"]
# or if its correlation
dt[, list(cor_x_y = cor(x,y)), by="grp,z"]