Shell 脚本：在 Ubuntu linux 下并行化 bash 脚本中的命令答案

【问题标题】：Shell script: Parallelizing commands in bash script under Ubuntu linuxShell 脚本：在 Ubuntu linux 下并行化 bash 脚本中的命令
【发布时间】：2013-03-22 09:44:40
【问题描述】：

我正在创建一个 bash 脚本来无损压缩 jpeg 和 png 文件，因此我在 Ubuntu 下使用了两个名为 jpegoptim 和 optipng 的包。 A 将使用带有 2 或 4 个核心 处理器的脚本。我想使用我的 CPU 的全部容量。

问题是optipng默认不支持多线程（它只使用一个CPU核心），所以我决定，我启动2或4个并行进程来压缩图像更快。我已经将图像文件排序为 4 个几乎相等的数组（基于像素数），现在我需要并行运行这些进程。

我正在尝试使用命令末尾的 & 字符来并行化进程，但它并不能并行完成工作。

optipngout=$(optipng -$pnglevel -dir $outdir ${threaddata_1[@]} &)
optipngout=$(optipng -$pnglevel -dir $outdir ${threaddata_2[@]} &)
optipngout=$(optipng -$pnglevel -dir $outdir ${threaddata_3[@]} &)
optipngout=$(optipng -$pnglevel -dir $outdir ${threaddata_4[@]} &)

我必须捕获命令的输出，所以我认为问题出在 $() 结构上。

【问题讨论】：

我不认为 bash 有并发支持，但我可能弄错了。有什么理由你不能使用完整的编程语言？
实用程序taskset 是您可能会研究的东西。虽然我必须说，在我有限的使用它的情况下，我并没有意识到任何好处。此外，“处理器亲和性”一词可能会对您的搜索有所帮助。
@jedwards 它与& 字符配合得很好。感谢您的帮助！

标签： linux multithreading bash shell ubuntu

【解决方案1】：

看看Gnu parallel。它使您只需对现有脚本进行少量修改即可做您想做的事情。

【讨论】：

【解决方案2】：

我用taskset 和& 命令解决了我的问题。感谢@jedwards

最终代码如下所示：

outstr=$(taskset 0xFFFFFFFF optipng -$pnglevel -dir $outdir ${threaddata_1[@]}) &
outstr=$(taskset 0xFFFFFFFF optipng -$pnglevel -dir $outdir ${threaddata_2[@]}) &
outstr=$(taskset 0xFFFFFFFF optipng -$pnglevel -dir $outdir ${threaddata_3[@]}) &
outstr=$(taskset 0xFFFFFFFF optipng -$pnglevel -dir $outdir ${threaddata_4[@]}) &

【讨论】：