使用在其他文件中找到的不同变量运行作业脚本

Question

假设我在 txt 文件 (var.txt) 中有以下变量列表：

AAA
ABC
BBB
CCC

以下 R 脚本 (script.R)，其中 x 是 var.txt 中的一个变量：

print(x)

以及以下 HPC slurm 作业脚本 (job.sh)：

#!/bin/bash
#SBATCH --job-name test
#SBATCH --ntasks 8
#SBATCH --time 04:00
#SBATCH --output out
#SBATCH --error err

Rscript script.R

如何依次运行 job.sh 脚本 4 次，每次在 script.R 中使用不同的变量？

预期输出： 4 个带有脚本的 slurm 作业。R 打印 AAA、ABC、BBB 和 CCC。

感谢您的帮助

Answer 1

这是适合job array 的典型工作负载。使用这样的提交脚本

#!/bin/bash
#SBATCH --job-name test
#SBATCH --ntasks 8
#SBATCH --time 04:00
#SBATCH --output out
#SBATCH --error err
#SBATCH --array=0-3

readarray -t VARS < var.txt
VAR=${VARS[$SLURM_ARRAY_TASK_ID]}
export VAR

Rscript script.R

和script.R 是

print(Sys.getenv("VAR"))

您将获得一个包含四个作业的作业数组，每个作业都运行 R 脚本，具有不同的 env var VAR 值，取自 var.txt 文件。