makeCluster(multicore) 中的错误：无法打开连接

Question

我有以下问题。

为什么在标准节点（最大内核数 56）上提交作业时一切正常，但是当我向 large_memory 节点（最大内核数 128）提交相同的作业/代码时出现错误？

R 中的并行化代码：

> no_cores <- detectCores() - 1

> cl <- makeCluster(no_cores, outfile=paste0('./info_parallel.log'))

错误

Error in socketConnection(master, port = port, blocking = TRUE, open = "a+b",  :
  cannot open the connection

Calls: <Anonymous> ... doTryCatch -> recvData -> makeSOCKmaster -> 
  socketConnection

In addition: Warning message:

In socketConnection(master, port = port, blocking = TRUE, open = "a+b",  :
  localhost:11232 cannot be opened
Execution halted

Error in unserialize(node$con) : error reading from connection
Calls: <Anonymous> ... doTryCatch -> recvData -> recvData.SOCKnode -> unserialize
Execution halted

Error in unserialize(node$con) : error reading from connection
Calls: <Anonymous> ... doTryCatch -> recvData -> recvData.SOCKnode ->  unserialize
Execution halted

---

正如我所说，R 代码在标准节点上运行良好，所以我认为这是 large_memory 节点的问题。那会是什么？

Answer 1

终于解决了。

该错误是由 R 中的默认连接数限制引起的。连接数的默认值为 128。 这里的“连接数”是指每个节点的核数，在代码中会用到。

而在代码中，错误发生在“cl

no_cores

cl

这里，detectCores() 将获取节点上的最大核数。

在集群的标准节点中，每个节点的核数小于128，这就是R代码可以在标准节点上运行良好的原因；而在我的情况下， large_memory 分区中每个节点的核心数是 128。它默认达到核心的限制数量。所以错误显示为：

无法打开连接

我尝试将内核数设置为 120，以便在 large_memory 节点上运行作业（最大内核数 = 128）。没有错误。代码运行良好。

cl 120, outfile=paste0('./info_parallel.log'))

谢谢！