同步 Unix 池进程的简单机制是什么？

Question

我需要限制并行执行的进程数。例如我想执行这个伪命令行：

export POOL_PARALLELISM=4
for i in `seq 100` ; do
    pool foo -bar &
done

pool foo -bar # would not complete until the first 100 finished.

因此，尽管有 101 个 foos 排队等待运行，但在任何给定时间只有 4 个在运行。 pool 将 fork()/exit() 并将剩余进程排队直到完成。

有没有一种简单的机制可以用 Unix 工具来做到这一点？ at 和 batch 不适用，因为它们通常在每分钟的顶部调用并按顺序执行作业。使用队列不一定是最好的，因为我希望这些是同步的。

在我编写一个使用信号量和共享内存的 C 包装器，然后调试我肯定会介绍的死锁之前，任何人都可以推荐一个 bash/shell 或其他工具机制来完成此任务。

Answer 1

这个工具肯定没必要自己写，有几个不错的选择。

make

make 可以很容易地做到这一点，但它确实广泛依赖 文件 来驱动这个过程。 （如果您想对生成输出文件的每个输入文件运行一些操作，这可能很棒。）-j 命令行选项将运行指定数量的任务，-l load-average 命令行选项将指定开始新任务之前必须满足的系统负载平均值。 （如果您想“在后台”做一些工作，这可能会很好。不要忘记 nice(1) 命令，它在这里也可以提供帮助。）

所以，快速（且未经测试）Makefile 用于图像转换：

ALL=$(patsubst cimg%.jpg,thumb_cimg%.jpg,$(wildcard *.jpg))

.PHONY: all

all: $(ALL)
        convert $< -resize 100x100 $@

如果您使用make 运行它，它将一次运行一个。如果您使用make -j8 运行，它将运行八个单独的作业。如果您运行make -j，它将启动数百个。 （在编译源代码时，我发现两倍的内核数是一个很好的起点。这让每个处理器在等待磁盘 IO 请求时都有事可做。不同的机器和不同的负载可能会以不同的方式工作。）

xargs

xargs 提供--max-procs 命令行选项。如果可以使用 ascii NUL 分隔的输入命令或换行符分隔的输入命令基于单个输入流来划分并行进程，则这是最好的。 （好吧，-d 选项可以让您选择其他东西，但这两个是常见且简单的。）这使您受益于使用find(1) 强大的文件选择语法，而不是编写像Makefile 这样的有趣表达式上面的示例，或者让您的输入与文件完全无关。 （考虑一下，如果您有一个将大合数分解为素数的程序 - 使该任务适合 make 充其量是很尴尬的。xargs 可以很容易地做到这一点。）

前面的示例可能如下所示：

find . -name '*jpg' -print0 | xargs -0 --max-procs 16 -I {} convert {} --resize 100x100 thumb_{}

parallel

moreutils 软件包（至少在 Ubuntu 上可用）提供了parallel 命令。它可以以两种不同的方式运行：在不同的参数上运行指定的命令，或者并行运行不同的命令。前面的示例可能如下所示：

parallel -i -j 16 convert {} -resize 100x100 thumb_{} -- *.jpg

beanstalkd

beanstalkd 程序采用了完全不同的方法：它提供了一个消息总线供您提交请求，并且作业服务器阻止正在输入的作业，执行作业，然后返回等待队列中的新作业。如果您想将数据写回启动作业的特定 HTTP 请求，这可能不太方便，因为您必须自己提供该机制（可能在 beanstalkd 服务器上提供不同的“管”），但如果最终结果是将数据提交到数据库、电子邮件或类似的异步方式，这可能是最容易集成到现有应用程序中的方法。