如何设置集群从节点（在 Windows 上）

Question

我需要在所有 Windows 的 15 台机器（每台 4 核）上运行数千个模型。我开始学习parallel、snow 和snowfall 包并阅读了一堆介绍，但它们主要集中在大师的设置上。 关于如何在 Windows 上设置工作（从）节点的信息很少。信息往往相互矛盾：some say that SOCK cluster is practically the easiest way to go，其他人声称SOCK cluster setup is complicated on Windows (sshd setup) and the best way to go is MPI。

那么，在 Windows 上安装从节点最简单的方法是什么？ MPI、PVM、SOCK 还是 NWS？我的，可能是幼稚的想法是（按优先级列出）：

1. 使用从节点上的所有 4 个内核（必需）。
2. 理想情况下，我只需要带有一些包的 R 和一个从属 R 脚本或 R 函数，它们将侦听某个端口并等待来自主控的任务。
3. 理想情况下，可以从集群中动态添加/删除节点。
4. 理想情况下，从站将连接到主站 - 因此我不必在主站配置中列出所有从站 IP。

只有 1 是 100% 需要的，2-4 是“会好的”。请求是不是太天真了？

很抱歉，我无法从可用的文档和教程中弄清楚这一点。如果您指出正确的来源，我将不胜感激。

---

_{* 请注意，这数千个模型中的每一个至少需要 7 分钟，因此不会产生很大的通信开销。}

Answer 1

很遗憾，所有这些 API（如并行/降雪/降雪​​）使用起来很复杂，有很多文档但不是您需要的……我找到了一个非常简单的 API，可以直接使用我画的想法！！它是redis 和doRedis R package（如recommended here）。终于出现了very simple tutorial！稍微修改了一下，得到了这个：

worker 只需要 R、doRedis 包和这个脚本：

require(doRedis)    
redisWorker('jobs', '10.0.0.7') # IP of the server

主人需要redis server运行（Windows安装the experimental windows binaries），这个R代码：

require(doRedis)
registerDoRedis('jobs')
foreach(j=1:10,.combine=sum,.multicombine=TRUE) %dopar%
    ... # whatever you need to run
removeQueue('jobs')

添加/删除worker是完全动态的，不需要在master上指定IP，自动“负载平衡”，简单并且不需要大量的文档！此解决方案满足所有要求，甚至更多 - 如?registerDoRedis 所述：

doRedis 并行后端容忍工作进程之间的故障并自动重新提交失败的任务。

如果可能的话，我不知道将并行/降雪/降雪​​与 SOCKS/MPI/PVM/NWS 结合使用会有多复杂，但我想非常复杂。 ..

我发现的唯一使用redis的缺点：

• 它是一个数据库服务器。我想知道这个 API 是否存在于某个地方而无需安装我根本不需要的数据库服务器。我想它一定存在！
• 当前的 doRedis 包 ("object '.doRedisGlobals' not found") 中存在一个 bug，目前尚无解决方案，I am not able to install the old working doRedis 1.0.5 package into R 3.0.1。