创建多头节点 hpc 集群

Question

我有一个 HPC 集群，其中几个 web 应用程序安装在 docker 容器中，队列使用 Torque 进行管理。每个应用程序都向通过 ssh 连接的 HPC 集群提交作业，然后运行 ​​qsub:ssh user@cluster qsub bla blabla。有用于交换数据的共享文件夹。

我对这个设置不满意，我想知道是否可以在每个 docker 上运行一个主节点，并直接在其中使用 qsub 而无需进行 ssh 连接。我更喜欢使用扭矩，但我对其他解决方案持开放态度。

Answer 1

Torque 允许多个提交主机。

主机的名称或地址应添加到 Torque 服务器配置中的 submit_hosts 变量这里是手册中的相关页面。

qmgr -c 'set server submit_hosts = headnode'
qmgr -c 'set server submit_hosts += app1'
qmgr -c 'set server submit_hosts += app2'

假设 app1 和 app2 是 docker 容器的域名。您需要配置名称解析。

有关更多详细信息和其他选项，请参阅Torque manual。