在 Snakemake 上运行单个作业/规则的并行实例

Question

这里是没有经验、自学成才的“编码员”，所以请理解：]

我正在尝试学习和使用 Snakemake 来构建我的分析管道。不幸的是，我无法同时运行单个作业/规则的多个实例。我的工作站不是计算集群，所以我不能使用这个选项。我找了几个小时的答案，但要么没有，要么我知识渊博，无法理解。 那么：有没有办法同时运行单个作业/规则的多个实例？

如果你想要一个具体的例子：

假设我想使用 fastqc 工具分析一组 4 个 .fastq 文件。于是我输入了一个命令：

time snakemake -j 32

然后运行我的代码，即：

SAMPLES, = glob_wildcards("{x}.fastq.gz")

rule Raw_Fastqc:
    input:
            expand("{x}.fastq.gz", x=SAMPLES)
    output:
            expand("./{x}_fastqc.zip", x=SAMPLES),
            expand("./{x}_fastqc.html", x=SAMPLES)
    shell:
            "fastqc {input}"

我希望snakemake 在 32 个线程上运行尽可能多的 fastqc 实例（如此轻松地同时运行我的所有 4 个输入文件）。事实上。此命令大约需要 12 分钟才能完成。同时，从snakemake内部利用GNU并行

shell:
    "parallel fastqc ::: {input}"

我在 3 分钟内得到结果。显然这里有一些尚未开发的潜力。

谢谢！

Answer 1

如果我没记错的话，fastqc 会分别处理每个 fastq 文件，因此您的实现没有利用蛇形的并行化特性。这可以通过defining the targets 完成，如下所示，使用rule all。

from pathlib import Path

SAMPLES = [Path(f).name.replace('.fastq.gz', '')  for f in glob_wildcards("{x}.fastq.gz") ]

rule all:
    input:
        expand("./{sample_name}_fastqc.{ext}", 
                        sample_name=SAMPLES, ext=['zip', 'html'])

rule Raw_Fastqc:
    input:
            "{x}.fastq.gz", x=SAMPLES
    output:
            "./{x}_fastqc.zip", x=SAMPLES,
            "./{x}_fastqc.html", x=SAMPLES
    shell:
            "fastqc {input}"

Answer 2

要添加到上面 JeeYem 的答案，您还可以使用每个规则的 'threads' property 定义为每个作业保留的资源数量，如下所示：

rule Raw_Fastqc:
input:
        "{x}.fastq.gz", x=SAMPLES
output:
        "./{x}_fastqc.zip", x=SAMPLES,
        "./{x}_fastqc.html", x=SAMPLES
threads: 4
shell:
        "fastqc --threads {threads} {input}"

因为 fastqc 本身可以为每个任务使用多个线程，所以您甚至可以通过 parallel 实现获得额外的加速。

然后，Snakemake 将自动分配尽可能多的作业，以适应顶级调用提供的总线程数：

例如，snakemake -j 32 最多可以执行 8 个 Raw_Fastqc 规则实例。