将参数传递给 slurm 脚本

Question

我正在使用 slurm 脚本在集群上运行用于 Matlab 计算的数组。每个脚本都使用一个数组来循环一个 matlab 参数。

1) 是否可以创建一个 shell 脚本来循环另一个变量？
2) 我可以将变量传递给 slurm 脚本吗？

例如，我的 slurm 文件目前看起来像

#!/bin/bash
#SBATCH --array=1-128
...
matlab -nodesktop r "frame=[${SLURM_ARRAY_TASK_ID}]; filename=['Person24']; myfunction(frame, filename);";

我经常需要运行这个数组来处理许多不同的文件。这意味着我将提交作业（sbatch exampleScript.slurm），编辑文件，将“Person24”更新为“Person25”，然后重新提交作业。当我有大量文件要处理时，这非常低效。

我可以制作一个将变量传递给 slurm 脚本的 shell 脚本吗？例如，像这样：

Shell 脚本 (myshell.sh)

#!/bin/bash
for ((FNUM=24; FNUM<=30; FNUM+=1));
do
     sbatch myscript.slurm  >> SOMEHOW PASS ${FNUM} HERE (?)
done 

Slurm 脚本 (myscript.slurm)

#!/bin/bash
#SBATCH --array=1-128
...
matlab -nodesktop -nodisplay r "frame=[${SLURM_ARRAY_TASK_ID}]; filename=[${FNUM}]; myfunction(frame, filename);";

我可以使用类似的东西有效地提交所有作业 sbatch myshell.sh

谢谢！

Answer 1

为了避免可能与 shell 和环境变量发生名称冲突，在 Bash 脚本中始终使用小写或混合大小写变量是一个好习惯。

你快到了。您只需将变量作为参数传递给第二个脚本，然后根据位置参数将其提取到那里。在这种情况下，您似乎只传递了一个参数，因此 $1 可以使用。在其他情况下，对于多个固定数量的参数，您还可以使用$2、$3 等。对于可变数量的参数，“$@”会更合适。

Shell 脚本 (myshell.sh)

#!/bin/bash
for ((fnum=24; fnum<=30; fnum+=1))
do
     sbatch myscript.slurm "$fnum"
done 

Slurm 脚本 (myscript.slurm)

#!/bin/bash
#SBATCH --array=1-128

fnum=$1

...
matlab -nodesktop -nodisplay r "frame=[${slurm_array_task_ID}]; filename=[${fnum}]; myfunction(frame, filename);";

对于处理 various timeout conditions 这可能有效：

A=$(sbatch --parsable a.slurm)

case $? in
    9|64|130|131|137|140)
        echo "some sort of timeout occurred"
        B=$(sbatch --parsable --dependency=afternotok:$A a.slurm)
        ;;
    *)
        echo "some other exit condition occurred"
        ;;
esac

您只需要决定要处理哪些条件以及如何处理它们。我列出了所有似乎涉及超时的问题。