python sge api提交到特定节点

Question

我尝试将我的程序与集群一起使用。现在我创建小作业，并使用 bash 脚本将其提交给特定节点。这些作业将一个大文件复制到节点，在该文件上执行 5 个其他程序，最后作业将文件复制回来并在节点上删除。

这个用于提交作业的 bash 脚本检查给定目录中有多少可用硬盘，计算可以在此节点上运行的最大作业数，并将此作业数发送到此特定节点。这种方法的缺点是我必须在所有作业完成后多次运行这个 bash 脚本。

现在我想用 python 和 drmaa api 来做这件事。但现在我想知道它是否能够使用这个 api 进行节点控制。是否可以使用 drmaa api 提交到特定节点？

或者我是否必须使用 Popen 编写解决方法来执行 qsub 命令并通过解析 qstat 命令的输出来获取每个节点的作业数？

Answer 1

我不熟悉 Python 的 drmaa api，但如果它为您提供了一种指定限制的方法，您可以使用限制来限制作业将在其上运行的主机。也许使用类似 nativeSpecification 的东西来传递-l hostname=whatever？

见http://www.gridengine.eu/programming-apis

设置 DRMAA 标准未定义的作业提交参数很容易：可以使用 DRMAA 标准化的本机规范进行设置，该规范在 Go 的 SetNativeSpecification() 作业模板方法中。