R中每次foreach迭代的write.csv结果

Question

我正在使用 foreach 将我的工作并行化以处理一个非常大的数据集。下面是代码：

d <-
  foreach(a=files, .packages = 'hdf5r', .combine = 'cbind') %:%
    foreach(b=files, .combine = 'c') %dopar% {
      
      values <- "perform calculations"
    

  } 
d

我得到的输出是矩阵的形式......这是外部 foreach 中的“cbind”组合函数的结果。见附图。

但是，我真正想做的是能够将每个迭代结果保存在独立的 .csv 或 .txt 文件中。

我尝试使用用户定义的函数来替换“cbind”，但没有运气。我也将 write.table(......) 放在代码主体中，但它只捕获最后一次迭代，我不确定在嵌套的 foreach 中添加另一个 for 循环是否是好的做法。

有什么聪明的方法可以解决我的困境吗？

谢谢。

结果：

What I am getting from the script above

期望：

What I need to save in individual .csv

Answer 1

尝试以下方法。未经测试，但我以前使用过它，它可以工作，或者至少给出了如何制作它的想法。

最里面的foreach必须返回一个值，把values作为它的最后一条指令。

文件名由我选择，随意更改。

d <- foreach(a=files, .packages = 'hdf5r', .combine = 'cbind') %dopar% {
  tmp <- foreach(b=files, .combine = 'c') %dopar% {
    
    values <- "perform calculations"
    values
  } 
  fname <- paste("result", i, "csv", sep = ".")
  fname <- file.path("~/tmp", fname)
  write.csv(tmp, fname, row.names = FALSE)
  # return value to outer loop
  tmp
}
d

请注意，如果没有最后一个tmp，返回到最外层循环，d 将是NULL。