不能在 foreach 循环中使用 read.table() (doSMP)

Question

我正在尝试使用 doSMP / foreach 来并行化 R 中的一些代码。

我有一个巨大的遗传数据二维矩阵 - 10,000 个观察值（行）和 300 万个变量（列）。由于内存问题，我不得不将这些数据分成 1000 个变量的块。

我想读入每个文件，做一些统计，然后将这些结果写到一个文件中。使用 for 循环很容易，但我想使用 foreach 来加速它。这就是我正在做的事情：

# load doSMP, foreach, iterators, codetools
require(doSMP)

# files i'm processing
print(filelist <- system("ls matrix1k.*.txt", T))

#initialize processes
w <- startWorkers(2)
registerDoSMP(w)

# for each file, read into memory, do some stuff, write out results.
foreach (i =  1:length(filelist)) %dopar% {
    print(i)
    file <- filelist[i]
    print(file)
    thisfile <- read.table(file,header=T) 
    # here i'll do stuff using that file
    # here i'll write out results of the stuff I do above
}

#stop processes
stopWorkers(w)

但这会导致错误：Error in { : task 2 failed - "cannot open the connection"。当我将%dopar% 更改为%do% 时，完全没有问题。

Answer 1

在你的 foreach 循环中，你必须调用你将要使用的包。

示例：

i)

foreach (i =  1:length(filelist), .packages = "rgdal") %dopar% ......

在你的情况下，你应该调用一个包向量。

示例 2：

ii)

package.vector <- c("package.1","package.2",etc)

foreach (i =  1:length(filelist), .packages = package.vector) %dopar% ......

我建议你调用你正在使用的所有包

Answer 2

我不认为并行输入确实可以加快速度。限制因素是磁盘控制器，因此当您打开 2 个连接并读取数据时它无济于事，因为无论如何它都必须通过磁盘控制器。磁盘 IO 是一项串行作业（很遗憾），除非您有一个带有多个磁盘控制器的 RAID 阵列。并行 IO 仅适用于每台机器都有自己的磁盘的集群。