如何在并行循环 (doSMP) 中使用 source() 函数？

Question

我正在尝试使用 doSMP 包通过“foreach”循环加速我的代码。

这是我的问题的简化版本：我正在运行一个名为 main.R 的文件

文件：main.R：

require(doSMP)
dropbox_path = "/home/ruser/Dropbox"
workers <- startWorkers(4)
registerDoSMP(workers)
foreach(jj=1:4 ) %dopar% source("test.R")
stopWorkers(workers)

文件：test.R：

message(dropbox_path)

这将返回以下错误： “源错误（“test.R”）： 任务 1 失败 - “找不到对象 'dropbox_path'”

如果我将 main.R 修改为：

require(doSMP)
dropbox_path = "/home/ruser/Dropbox"
workers <- startWorkers(4)
registerDoSMP(workers)
foreach(jj=1:4 ) %dopar% message(dropbox_path)
stopWorkers(workers)

然后它工作得很好。 它还可以很好地处理顺序代码（'for' 而不是 'foreach'）。

所以 R 子实例可以访问 dropbox_path 变量，但不能在通过源函数解析时访问。我尝试使用 source() 函数参数“local”和“chdir”，但没有成功。

您知道代码的工作方式吗？我想继续使用 source() 函数。

Answer 1

我提前道歉，我的小解决方法没有使用您的工具，但我会这样做。我使用包snowfall，因为我可以轻松扩展我的应用函数以在多个内核上工作。代码未经过测试，因为我的所有内核当前都已被占用。不过应该可以。

tiny_script.R内容：

date()

启动多个内核的 R 代码：

library(snowfall)
sfInit(parallel = TRUE, cpus = 4, type = "SOCK") #power up
my.list <- vector("list", 10)

sfLapply(x = my.list, fun = function(x) source("./Odpad/tiny_script.R")) 

仅使用lapply 在单核上运行：

> lapply(X = my.list, FUN = function(x) source("./Odpad/tiny_script.R")) #notice the difference in argument names between `lapply` and `sfLapply`.
[[1]]
[[1]]$value
[1] "Wed Jun 22 13:02:11 2011"

[[1]]$visible
[1] TRUE


[[2]]
[[2]]$value
[1] "Wed Jun 22 13:02:11 2011"