为多个数据集运行蛇形管道

Question

我有一个 snakemake 管道，其中包含调用其他程序和自定义 R 和 python 脚本的规则。

我有多个数据集，需要在这些数据集上运行同一管道。通常我会为每个数据集创建一个单独的文件夹，并放置一个特定于数据集的配置文件并单独运行。

由于这次我有 20 多个数据集，我想知道是否有更自动化的方法来执行此操作。数据集之间主要有 4 个参数发生变化：输入文件位置、引物、质量控制参数和结果的输出目录。 有没有办法拥有一个“主”配置文件，其中包含关于这 4 个参数的信息和一个蛇文件，然后调用第二个蛇文件的次数与数据集的数量一样多？

这整个想法对我来说似乎是一个 for 循环，它遍历这 4 个参数的数组，但我不知道如何在蛇形中实现它。

欢迎任何建议和想法！ 谢谢 赫娜

Answer 1

如果所有参数在输出文件名中都有些“编码”，我认为这可以使用单个蛇文件来完成。

您的主配置文件将包含每个数据集的部分，该部分可能包含所需的输出目录以及特定于该数据集的配置文件的路径。

概念证明：

Snakefile:

import yaml

datasets = list(config.keys())

results = []
for dataset in datasets:
    out_dir = config[dataset]["out_dir"]
    with open(config[dataset]["conf"]) as conf_fh:
        dat_conf = yaml.safe_load(conf_fh)
        p1 = dat_conf["p1"]
        p2 = dat_conf["p2"]
        p3 = dat_conf["p3"]
        p4 = dat_conf["p4"]
    results.append(f"{out_dir}/{p1}_{p2}_{p3}_{p4}.out")


rule all:
    input:
        results


rule make_output:
    output:
        "{out_dir}/{p1}_{p2}_{p3}_{p4}.out"
    shell:
        "touch {output[0]}"

main_config.yaml:

dat1:
    out_dir: "dat1"
    conf: "dat1_conf.yaml"
dat2:
    out_dir: "dat2"
    conf: "dat2_conf.yaml"

dat1_conf.yaml:

p1: "A"
p2: "a"
p3: "1"
p4: "01"

dat2_conf.yaml:

p1: "B"
p2: "b"
p3: "2"
p4: "02"

可以执行，例如如下：

snakemake --snakefile Snakefile --configfile main_config.yaml -j 2

这将创建以下结果文件：

dat1/A_a_1_01.out
dat2/B_b_2_02.out