用lapply替换for循环中的rbind？ （地狱第二圈）

Question

我在优化一段 R 代码时遇到问题。以下示例代码应该说明我的优化问题：

一些初始化和函数定义：

a <- c(10,20,30,40,50,60,70,80)
b <- c(“a”,”b”,”c”,”d”,”z”,”g”,”h”,”r”)
c <- c(1,2,3,4,5,6,7,8)
myframe <- data.frame(a,b,c)
values <- vector(length=columns)
solution <- matrix(nrow=nrow(myframe),ncol=columns+3)

myfunction <- function(frame,columns){
athing = 0
   if(columns == 5){
   athing = 100
   }
   else{
   athing = 1000
   }
value[colums+1] = athing
return(value)}

有问题的 for 循环如下所示：

columns = 6
for(i in 1:nrow(myframe){
   values <- myfunction(as.matrix(myframe[i,]), columns)
   values[columns+2] = i
   values[columns+3] = myframe[i,3]
   #more columns added with simple operations (i.e. sum)

   solution <- rbind(solution,values)
   #solution is a large matrix from outside the for-loop
}

问题似乎出在rbind 函数上。 我经常收到关于solution 大小的错误消息，一段时间后它似乎太大了（超过50 MB）。 我想用列表和lapply 和/或foreach 替换这个循环和rbind。我已经开始将 myframe 转换为列表。

myframe_list <- lapply(seq_len(nrow(myframe)), function(i) myframe[i,])

虽然我尝试应用此very good introduction to parallel processing，但我并没有真正走得更远。

如何在不更改 myfunction 的情况下重建 for 循环？显然我对不同的解决方案持开放态度......

编辑：这个问题似乎直接来自2nd circle of hell from the R Inferno。有什么建议吗？

Answer 1

在这样的循环中使用rbind 是不好的做法的原因是，在每次迭代中，您都会放大您的solution 数据框，然后将其复制到一个新对象，这是一个非常缓慢的过程，也可以导致记忆问题。解决此问题的一种方法是创建一个列表，其第 i 个组件将存储第 i 个循环迭代的输出。最后一步是在该列表上调用 rbind（最后只调用一次）。这看起来像

my.list <- vector("list", nrow(myframe))
for(i in 1:nrow(myframe)){
    # Call all necessary commands to create values
    my.list[[i]] <- values
}
solution <- rbind(solution, do.call(rbind, my.list))

Answer 2

有点想发表评论，所以我把它放在这里： 如果事先知道columns：

    myfunction <- function(frame){
    athing = 0
       if(columns == 5){
       athing = 100
       }
       else{
       athing = 1000
       }
    value[colums+1] = athing
    return(value)}

    apply(myframe, 2, myfunction)

如果columns不是通过环境给出的，你可以使用：

apply(myframe, 2, myfunction, columns) 与您原来的 myfunction 定义。