SLURM / Sbatch 创建许多小输出文件

Question

我在 SLURM 集群上运行管道，出于某种原因，许多较小的文件（大小在 500 到 2000 字节之间）沿 slurm-XXXXXX.out 行命名（其中 XXXXXX 是一个数字）。我试图在 SLURM 网站上找出这些文件是什么，但我找不到任何关于它们的提及。我认为它们是系统在解析我的管道时使用的某种正在进行的文件？

如果重要的话，我正在运行的管道正在使用 snakemake。我知道我以前见过这些类型的文件，但没有snakemake，但我当时并不是什么大问题。我担心在工作流的每个步骤之后清除这些文件的工作目录会中断正在进行的步骤，所以我目前没有对它们做任何事情。

这些文件是什么，我怎样才能抑制它们的输出，或者在相应的工作完成后删除它们？我是否以某种方式弄乱了我的工作流程，这就是创建它们的原因？

Answer 1

您可能想查看sbatch 文档。您所指的文件本质上是 SLURM 日志，如此处所述：

默认情况下，标准输出和标准错误都指向一个 名为“slurm-%j.out”的文件，其中“%j”被替换为 工作分配编号。

您可以使用--error=<filename pattern> 和--output=<filename pattern> 命令行选项更改文件名。 filename_pattern 可以有一个或多个将被替换的符号，如documentation 中所述。根据FAQs，您应该能够通过使用以下命令行选项来抑制标准输出和标准错误：

sbatch --output=/dev/null --error=/dev/null [...]