某些作业完成后如何提交作业？

Question

我使用file1.sh 和file2.sh 将作业提交到集群（高性能计算机）。

file1.sh的内容是

qsub job1.sh
qsub job2.sh
qsub job3.sh
...
qsub job999.sh
qsub job1000.sh

file2.sh的内容是

qsub job1001.sh
qsub job1002.sh
qsub job1003.sh
...
qsub job1999.sh
qsub job2000.sh

在putty中输入./file1.sh后，job1到job1000被提交。

只有在 job1000 完成之后，是否有自动输入 ./file2.sh 的方法？请注意，我只想在 job1000完成（不仅仅是成功提交）后自动输入./file2.sh。

这样做的原因是我们一次只能提交 1000 个作业。这 1000 个限制包括运行中和队列中的作业。 -hold_jid 的使用仍将被视为在 1000 的限制内。所以我必须等待所有前 1000 个作业完成（而不是简单地提交）然后我才能提交接下来的 1000 个作业.

Answer 1

没有提交 1000 个作业的限制，您可以命名您的第一个作业。然后，您可以告诉下一个作业等到第一个作业完成。但由于所有工作都将提交，我认为您将超过 1000 个工作的限制。

qsub -N job1 ./a.sh
qsub -N job2 ./b.sh
qsub -hold_jid job1,job2 -N job3 ./c.sh

您可以编写一个提交前 1000 个作业的 shell 脚本。然后脚本等到一些作业完成并提交下一个作业。脚本检查类似

qstat -u username | wc -l

您提交了多少工作。如果您提交的作业少于 1000 个，则脚本可以提交下一个x 作业，其中x = 1000 - #SubmittedJobs。

集群运营商通常会因他们容忍的用户行为而异。所以也许最好问问这对他们来说是否可以。此外，一些调度程序为超级用户的作业（这里是作业数量）赋予新作业较低的优先级。因此，您的新工作可能会在队列中花费更多时间。