在 Grid Engine 上并行启动许多不相关的作业？答案

【问题标题】：Starting many unrelated jobs in parallel on Grid Engine?在 Grid Engine 上并行启动许多不相关的作业？
【发布时间】：2012-11-27 06:52:54
【问题描述】：

出于负载平衡的目的，我经常想在 Grid Engine 集群上启动一组完全不相关（“令人尴尬”的并行）作业。

我现在的工作是为每个作业生成一个 Bash 脚本，然后分别提交每个作业，所有这些都由我编写的 Perl 脚本控制。

如果我只是将所有作业放入一个文件，一行作业，那么 Grid Engine 将按顺序执行作业，这不是重点。

有什么方法可以让我只拥有一个文件，并告诉 Grid Engine 它应该并行执行每一行/作业？

基本上我想要像 Grid Engine Array Jobs 这样的东西。但是数组作业的问题是，它们只有在每个作业之间的变化元素是一个数字或数组中的一个索引，并且这个数字/索引是均匀分布的情况下才有效。但我说的是完全不相关且不共享模式的工作。

【问题讨论】：

【解决方案1】：

您使用中等强大的解释器提交数组作业，将 $SGE_TASK_ID 转换为您想要的任何内容：

#$ -t 1-3    
#$ -S /bin/bash
case $SGE_TASK_ID in
1)echo "I'm a teapot short and stout";;
2)cat /etc/passwd;;
3)touch ~/job3run;;
esac

【讨论】：