GNU make 中递归作业的并行化

Question

我正在寻找一种优雅的方式来在 GNU make 中并行化作业。这是我到目前为止所做的示例。 Make 以串行方式处理目录 dir-1、dir-2 和 dir-3，这是合乎逻辑的，但不是我的意图：

SUBDIRS=dir-1 dir-2 dir-3

default: all

all:
  @for dir in $(SUBDIRS); do (cd $$dir; $(MAKE)); done

.PHONY: clean

clean:
  @for dir in $(SUBDIRS); do (cd $$dir; $(MAKE) clean); done

有没有办法支持使用“-j”选项并行处理这些目录而不为每个目录指定特定目标？

Answer 1

SUBDIRS = a b c

default: all

$(SUBDIRS)::
    $(MAKE) -C $@ $(MAKECMDGOALS)

all clean : $(SUBDIRS)

Answer 2

这可能不会直接回答您的问题，但除了其他答案的建议外，我建议您研究非递归 make 技术。这确实是一种并行构建的优雅方式，尽管取决于现有的 Makefile，可能需要付出很大的努力。非递归 make 的优点不仅限于简单的并行化：它可以看到完整的依赖关系图，因此不需要构建太少或太多，这意味着构建时间更快（有时更快）。

一些资源：

• Discussion on SO
• The classic text about trouble with recursive make
• Design of non-recursive makefile
• Implementation
• Another implementation
• Benchmarks (quite outdated though)

Answer 3

我发现在使用 ::（双冒号规则）时，如果 app、lib 和 doc 之间存在任何依赖关系，我找不到强制排序的方法。在阅读了 GNU Make 手册的大部分内容之后，我想出了以下规则来强制执行依赖项，同时拥有一个通用的递归 make。请注意，即使目录已经存在，.PHONY 规则也会强制 make 进入目录。

SUBDIRS = app lib doc

default: all

app: lib

.PHONY: $(SUBDIRS)

$(SUBDIRS):
    $(MAKE) -C $@ $(MAKECMDGOALS)

all clean install: $(SUBDIRS)

Answer 4

dir-1、dir-2 和 dir-3 是相互依赖还是独立？

我有类似的结构，但子目录之间存在依赖关系，因此我更喜欢在每个子目录内使用并行构建。你可以通过

## default to four parallel runs
MAKEFLAGS += -j 4  

all:
  @for dir in $(SUBDIRS); do (cd $$dir; $(MAKE) ); done

但另一个技巧是阅读 make 手册中的 SUBDIRS —— 你不需要 for 循环，因为 make 可以为你展开它。尝试类似

## default to four parallel runs
MAKEFLAGS += -j 4  

SUBDIRS =    dir-1 dir-2 dir-3

$(SUBDIRS):  #whatever your depends here
             $(MAKE) -C $@