并行处理多个文件的 bash 脚本

Question

我已阅读有关此主题的类似问题，但没有一个可以帮助我解决以下问题：

我有一个如下所示的 bash 脚本：

#!/bin/bash

for filename  in /home/user/Desktop/emak/*.fa; do
    mkdir ${filename%.*}
    cd ${filename%.*}
    mkdir emak
    cd ..
done

这个脚本基本上做了以下事情：

• 遍历目录中的所有文件
• 使用每个文件的名称创建一个新目录
• 进入新文件并创建一个名为“emak”的新文件

真正的任务比创建“emak”文件的计算成本高得多......

我有大约数千个文件要遍历。 由于每次迭代都独立于前一次，我会喜欢 将其拆分为不同的处理器（我有 24 个内核），这样我就可以同时处理多个文件。

我阅读了一些关于并行运行（使用：GNU）的先前帖子，但我没有看到在这种情况下应用它的明确方法。

谢谢

Answer 1

不需要parallel；你可以简单地使用

N=10
for filename in /home/user/Desktop/emak/*.fa; do
    mkdir -p "${filename%.*}/emak" &
    (( ++count % N == 0)) && wait
done

第二行暂停每第 N 个作业，以允许所有先前的作业完成，然后再继续。

Answer 2

类似这样的 GNU Parallel，您可以创建和导出一个名为 doit 的 bash 函数：

#!/bin/bash

doit() {
    dir=${1%.*}
    mkdir "$dir"
    cd "$dir"
    mkdir emak
}
export -f doit
parallel doit ::: /home/user/Desktop/emak/*.fa

如果您的“计算成本高” 部分花费的时间更长，或者尤其是变量，您将真正看到这种方法的好处。如果需要，比如说最多 10 秒并且是可变的，GNU Parallel 将在 N 个并行进程中最短的一个完成后立即提交下一个作业，而不是在开始下一批 N 个作业之前等待所有 N 个完成。

作为一个粗略的基准，这需要 58 秒：

#!/bin/bash

doit() {
   echo $1
   # Sleep up to 10 seconds
   sleep $((RANDOM*11/32768))
}
export -f doit
parallel -j 10 doit ::: {0..99}

这是直接可比的，需要 87 秒：

#!/bin/bash
N=10
for i in {0..99}; do
    echo $i
    sleep $((RANDOM*11/32768)) &
    (( ++count % N == 0)) && wait
done