如何在我的 bash 脚本中使用并行编程/多线程？

Question

这是我的脚本：

#!/bin/bash
#script to loop through directories to merge fastq files
sourcedir=/path/to/source
destdir=/path/to/dest

for f in $sourcedir/*
do
    fbase=$(basename "$f")
    echo "Inside $fbase"
    zcat $f/*R1*.fastq.gz | gzip > $destdir/"$fbase"_R1.fastq.gz
    zcat $f/*R2*.fastq.gz | gzip > $destdir/"$fbase"_R2.fastq.gz
done

这里有大约 30 个子目录在目录 'source' 中。每个子目录都有某些 R1.fastq.gz 文件和 R2.fastq.gz 我想合并成一个 R1.fastq.gz 和 R2.fastq.gz文件，然后将合并的文件保存到目标目录。我的代码运行良好，但由于数据量大，我需要加快速度。我只想知道有什么方法可以在我的脚本中实现多线程编程吗？如何运行我的脚本以使多个作业并行运行？ bash 脚本的新手，因此我们将不胜感激。

Answer 1

最简单的方法是在后台执行命令，在命令末尾添加&：

#!/bin/bash
#script to loop through directories to merge fastq files
sourcedir=/path/to/source
destdir=/path/to/dest

for f in $sourcedir/*
do
    fbase=$(basename "$f")
    echo "Inside $fbase"
    zcat $f/*R1*.fastq.gz | gzip > $destdir/"$fbase"_R1.fastq.gz &
    zcat $f/*R2*.fastq.gz | gzip > $destdir/"$fbase"_R2.fastq.gz &
done

来自bash manual：

如果命令被控制运算符“&”终止，shell 会在子 shell 中异步执行命令。这称为在后台执行命令。 shell 不等待命令完成，返回状态为 0（真）。当作业控制未激活时（请参阅作业控制），异步命令的标准输入，在没有任何显式重定向的情况下，从 /dev/null 重定向。

Answer 2

我不确定，但您可以尝试在这样的命令末尾使用&

zcat $f/*R1*.fastq.gz | gzip > $destdir/"$fbase"_R1.fastq.gz &
zcat $f/*R2*.fastq.gz | gzip > $destdir/"$fbase"_R2.fastq.gz &