有没有办法并行化 bash for 循环？

Question

我有一个简单的脚本，它从一系列硬盘驱动器中提取 SMART 数据并将其写入一个带时间戳的日志文件，该文件稍后会被记录并解析为相关数据。

filename="filename$( date '+%Y_%m_%d_%H%M' ).txt"
for i in {a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p}
do
smartctl -a /dev/sd$i >> /path/to/location/$filename
done 

由于这需要几秒钟才能运行，我想找到一种方法来并行化它。我尝试在循环中的单行末尾附加一个“&”，但这会导致文本文件在部分完成时随意写入，而不是按顺序和以可读的方式写入。有没有办法将其分叉为每个驱动器的单独进程，然后将输出通过管道传输回有序的文本文件？

另外，我假设设置文件名变量必须移动到 for 循环中，以便 fork 能够访问它。但是，如果脚本运行的时间足够长以滚动到新的一分钟（或两分钟），然后脚本变成顺序带日期戳的片段而不是一个连续的文件，则会导致问题。

Answer 1

像这样使用 GNU Parallel：

parallel -k 'smartctl -a /dev/{}' ::: a b c d e f g h  i j k l m n o p > path/to/output

-k 选项keeps 按顺序输出。如果您想一次运行 8 个，请添加 -j 8，否则每次每个内核运行一个。或者 -j 16 如果你想一次运行它们...

parallel -j 16 -k 'smartctl ....

当然，如果你在bash，你也可以这样做：

parallel -j 16 -k 'smartctl -a /dev/{}' ::: {a..o} > path/to/output

Answer 2

这样的东西不可行吗？ （未测试）

filename="filename$( date '+%Y_%m_%d_%H%M' ).txt"
for i in {a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p}
do
smartctl -a /dev/sd$i > /path/to/location/$filename.$i &
done
wait
cat /path/to/location/$filename.* > /path/to/location/$filename

编辑：看起来最终的猫很慢，那么这个版本呢？

filename="filename$( date '+%Y_%m_%d_%H%M' ).txt"
tmpdir="/dev/shm/tmp$( date '+%Y_%m_%d_%H%M' )"
mkdir $tmpdir
for i in {a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p}
do
smartctl -a /dev/sd$i > $tmpdir/$filename.$i &
done
wait
cat $tmpdir/$filename.* > /path/to/location/$filename
rm -rf $tmpdir