在 Sun Grid Engine 上使用 IPython Parallel

Question

我正在尝试将 IPython Parallel 用于一个非常常见的场景，我想在运行 Sun Grid Engine 的集群上运行模拟，但我找不到可靠的方法来执行此操作。

这是我想要做的：

我想用几个不同的参数值运行数值模拟（使用 Numpy 数组）——这些任务显然/'令人尴尬地'并行。我可以（通过 ssh）访问运行 Grid Engine 的集群的头节点。到目前为止，我一直在使用 QSUB 命令运行 shell 脚本，但这非常笨拙（处理节点崩溃等），我一直在寻找一种在 Python 中实现所有这些的方法。

IPython 似乎非常适合这种情况，但要让设置顺利运行变得很麻烦。我在头节点上使用 IPCLUSTER 启动 n 个（比如 20 个）引擎，然后将 .json 文件复制到我使用 IPython.parallel.Client 连接的本地计算机。

我已设置IPClusterStart.controller_launcher_class = 'SGEControllerLauncher' 和IPClusterEngines.engine_launcher_class = 'SGEEngineSetLauncher'

IPCLUSTER 似乎运行良好；我从 ssh 终端的头节点得到这个输出：

-- [IPClusterStart] Starting Controller with SGEControllerLauncher
-- [IPClusterStart] Job submitted with job id: '143396'
-- [IPClusterStart] Starting 4 Engines with SGEEngineSetLauncher
-- [IPClusterStart] Job submitted with job id: '143397'
-- [IPClusterStart] Engines appear to have started successfully

但是，我有这些问题：

1. 很多时候，即使我看到上面显示引擎已成功启动的消息，许多引擎仍无法向控制器注册。当我使用 20 个引擎启动 IPCLUSTER 时，我可以看到 Grid Engine 队列中出现了 10 - 15 个引擎。我不知道其他引擎会发生什么——没有输出文件。在这 10-15 个引擎中，仅启动其中一些引擎向控制器注册，我在它们的输出文件中看到了这一点：

   ... [IPEngineApp] Using existing profile dir: .../.ipython/profile_sge'
   ... [IPEngineApp] Loading url_file ... .ipython/profile_sge/security/ipcontroller-engine.json'
   ... [IPEngineApp] Registering with controller at tcp://192.168.87.106:63615
   ... [IPEngineApp] Using existing profile dir: .../.ipython/profile_sge'
   ... [IPEngineApp] Completed registration with id 0
   

   在其他人身上我看到了这个：

   ... [IPEngineApp] Using existing profile dir: .../.ipython/profile_sge'
   ... [IPEngineApp] Loading url_file .../.ipython/profile_sge/security/ipcontroller-engine.json'
   ... [IPEngineApp] Registering with controller at tcp://192.168.87.115:64909
   ... [IPEngineApp] Registration timed out after 2.0 seconds
   

   知道为什么会这样吗？

2. 有时，引擎启动并成功注册，但是当我让它们运行像view.execute('%pylab') 这样非常简单的东西时它们开始死亡，我得到的唯一例外是：

   [引擎异常] 回溯（最近一次通话最后）： 文件“/Library/Frameworks/EPD64.framework/Versions/7.3/lib/python2.7/site-packages/IPython/parallel/client/client.py”，第 708 行，在 _handle_strand_msgs raise error.EngineError("Engine %r 在运行任务 %r 时死亡"%(eid, msg_id)) EngineError：引擎 1 在运行任务“b9601e8a-cff5-4037-b9d9-a0b93ca2f256”时死亡

3. 以这种方式启动引擎意味着只要引擎正在运行，我就占用节点和队列，即使它们没有执行任何操作。是否有一种简单的方法来启动引擎，以便它们仅在您想要运行某些脚本时才会生成，并且一旦返回计算结果就会关闭？

4. Grid Engine 似乎每次都在不同的节点上启动控制器，因此 IPCLUSTER 配置文件中的 --ruse 标志没有用；每次使用 IPCLUSTER 时，我都必须复制 JSON 文件。有没有办法避免这种情况？

如果有人可以为这种常见场景提供一个简单的工作流程，那将非常有帮助：使用 IPython 并行通过 SSH 连接将明显并行的作业提交到 SGE 集群。应该有某种方法来处理引擎崩溃的重新提交，如果有一种方法可以仅在模拟期间使用集群资源，那也很好。

Answer 1

这有点晚了，实际上并没有回答您的具体问题。但是，您尝试过pythongrid 吗？