Makefile 多源分离编译答案

【问题标题】：Separated compilation with multiple sources by MakefileMakefile 多源分离编译
【发布时间】：2015-07-14 03:40:45
【问题描述】：

我编写了一个简单的 Makefile 来编译几种类型的源代码。而且效果很好。此 Makefile 将找到所有 protobuf 源和 C++ 源。所以制作程序将如下所示。

protoc 将生成带有*.proto 的C++ 源文件
g++ 将使用 *.cpp 和 *.pb.cc 编译目标文件（由步骤 1 生成）
g++（实际上是ld）会将所有对象*.obj链接到一个单个可执行文件

这个 Makefile 示例是：

# Define the protoc generator
PROTOC = protoc
INCLUDE = -I$(SOMEPLACE) 
LIB = -lxml2  -lpthread -lz

# The final single outputted executable
OUTPUT  = svrkit_adapter_v2

# Define the cpp source code/object result
SOURCES = $(wildcard *.cpp)
OBJECTS=$(SOURCES:.cpp=.o)

# Define the proto's source/generated result/object result
PROTO_SOURCES = $(wildcard *.proto)
PROTO_CPPSRC = $(patsubst %.proto,%.pb.cc,$(PROTO_SOURCES))
PROTO_OBJECT = $(patsubst %.proto,%.pb.o,$(PROTO_SOURCES))

# First actual making target
all:$(OUTPUT) 

# Define the rule for generating proto's cpp sources
$(PROTO_CPPSRC) : $(PROTO_SOURCES)
  $(PROTOC) --cpp_out=. $(filter %.proto, $^) 

# Define the rule for compiling generated proto cpp sources
$(PROTO_OBJECT) : $(PROTO_CPPSRC)
  $(CXX) $(CPPFLAGS) $(INCLUDE) -c $(filter %.cc, $^) 

# Define the rule for compiling other cpp sources
$(OBJECTS): $(SOURCES) $(PROTO_OBJECT)
  $(CXX) $(CPPFLAGS) $(INCLUDE) -c $(filter %.cpp, $^) 

# Define the rule for linking the final executable
$(OUTPUT): $(OBJECTS) $(PROTO_OBJECT)
  $(CXX) $(CFLAGS) -o $@ $^ ${LIB}

clean:
  rm -f *.o *.~ *.bak *.pb.*
  rm -f $(OUTPUT)

但是make执行的命令行如下（例如）：

protoc a.proto b.proto
g++ -c a.pb.cc b.pb.cc
g++ -c x.cpp y.cpp z.cpp
g++ -o output a.o b.o x.o y.o z.o

有时效果很好。 但是如果源太多，重新编译一些没有变化的源会花费很多时间。比如我刚刚修改了a.proto，Makefile也会重新编译b.proto。

我的问题是：如何使每个源文件单独编译/生成。执行的命令行应该是：

protoc a.proto
protoc b.proto
g++ -c a.pb.cc -o a.o
g++ -c b.pb.cc -o b.o
g++ -c x.cpp -o x.o
g++ -c y.cpp -o y.o
g++ -c z.cpp -o z.o
g++ -o output a.o b.o x.o y.o z.o

提前致谢。

【问题讨论】：

标签： makefile

【解决方案1】：

您犯了一个错误，即让规则对完整列表而不是单个文件起作用，从而剥夺了make 对单个文件工作的能力。

你的生成规则：

# Define the rule for generating proto's cpp sources
$(PROTO_CPPSRC) : $(PROTO_SOURCES)
  $(PROTOC) --cpp_out=. $(filter %.proto, $^) 

# Define the rule for compiling generated proto cpp sources
$(PROTO_OBJECT) : $(PROTO_CPPSRC)
  $(CXX) $(CPPFLAGS) $(INCLUDE) -c $(filter %.cc, $^)

相反，让规则适用于单个文件。

# Define the rule for generating proto's cpp sources
%.pb.cc: %.proto
    $(PROTOC) --cpp_out=. $<       

# Define the rule for compiling generated proto cpp sources
%.pb.o: %.pb.cc
    $(CXX) $(CPPFLAGS) $(INCLUDE) -c $< -o $@

C++ 源代码也是如此：

# Define the rule for compiling other cpp sources
$(OBJECTS): $(SOURCES) $(PROTO_OBJECT)
  $(CXX) $(CPPFLAGS) $(INCLUDE) -c $(filter %.cpp, $^)

（为什么$(PROTO_OBJECT) 包含在依赖项中？这对我来说非常错了。）

再次，将其切换到单个文件而不是整个列表：

# Define the rule for compiling other cpp sources
%.o: %.cpp
    $(CXX) $(CPPFLAGS) $(INCLUDE) -c $< -o $@

只有最终目标需要完整的对象列表：

# Define the rule for linking the final executable
$(OUTPUT): $(OBJECTS) $(PROTO_OBJECT)
  $(CXX) $(CFLAGS) -o $@ $^ ${LIB}

删除PROTO_CPPSRC，不需要。

现在，make 将查看最后一条规则，找到对象依赖项，并将 single-file 规则应用于每个需要重建的对象。

与您的问题无关，但在您解决问题时，将以下语句添加到您的 Makefile：

.PHONY: all clean

这将使“全部”和“干净”运行始终，即使存在具有该名称的文件。这通常不是问题，但是当它发生时，它可能会令人困惑。 ;-)

【讨论】：

对这个问题的第一次投票使我获得了 C++ 金牌。我现在正在全力以赴。 ;-)
非常感谢。将$(PROTO_OBJECT) 放在依赖列表中可以确保在编译其他普通cpp 源之前可以生成*.pb.h。否则，当然会出现xx.pb.h not found 错误。
@AlexanderChen：啊……你之前没有提到任何*.pb.h。这是$(PROTOC) 运行的副作用吗？在这种情况下，您需要确保在*.proto 源上一次运行一个文件而不是完整列表不会破坏任何内容。一些生成器可能会以这种方式脑死亡，它会挫败你想出最小运行的努力。也许您可以更明确一些，并根据$(PROTO_OBJECT) 制定以*.pb.h 作为目标的规则，并根据*.pb.h 制定$(OBJECTS)。（更易于阅读/维护。）
您的意思是添加规则%.o: %.cpp %.pb.h。这是不正确的。因为对象x.o是从x.cpp编译而来的，它依赖于a.pb.h（也许还需要b.pb.h）而不是x.pb.h。因此，在正确生成 ALL protobuf 源之后，必须编译所有正常源。所以我的解决方案是添加依赖规则%.o: %.cpp $(PROTO_OBJECT) 以确保$.cpp 所需的所有标头都已更新。另一方面，规则%.o: %.cpp $(PROTO_CPPSRC)也是一个正确的选项，但是制作中间文件*.pb.cpp之后会被删除。
@AlexanderChen：不知道你的 $(PROTOC) 步骤是什么确切，以及你的文件如何相互依赖，我是一个独行者- 踢比赛在这里。我只是建议 Makefiles 应该遵循“说出你的意思，说出你的意思”的规则——你的对象不依赖于$(PROTO_OBJECT)，它们也不依赖于$(PROTO_CPPSRC)，它们依赖于头文件。如果可能的话，您的 Makefile 应该反映这一点。（如果它是不可能，因为你的最后评论似乎表明，太糟糕了。）

【解决方案2】：

我知道这不是您问题的全部答案，但我认为它会有所帮助你。这是我使用的 makefile 示例：

EXEC=prog1
EXEC+=prog2

prog1_SRCS=prog1.cpp source1.cpp source2.cpp
prog2_SRCS=prog2.cpp source3.cpp

#------------------------------------------------------------------
#no need to change anything below that line (maybe add some OPTION)

CXX = g++ -std=c++11

ERRORS = -Wall -Wextra -pedantic
OPTION = 

BUILD=build

CXXFLAGS = $(ERRORS) $(OPTION)
LDFLAGS  = $(ERRORS) $(OPTION)

SRCS=$(wildcard *.cpp)

all: OPTION += -O3 -DNDEBUG
all:$(EXEC)

debug: OPTION += -ggdb 
debug:$(EXEC)

.SECONDEXPANSION:
$(EXEC): $$(patsubst %.cpp, $(BUILD)/%.o, $$($$@_SRCS)) 
    @echo Links $(notdir $^)
    $(CXX) -o $@ $^ $(LDFLAGS) 

$(BUILD)/%.o:%.cpp
    @echo Creates $(notdir $@)
    $(CXX) -MD -c $(CXXFLAGS) $< -o $@

-include $(addprefix $(BUILD)/,$(SRCS:.cpp=.d))

clean:
    rm -f $(BUILD)/* $(EXEC)

您需要一个名为build 的目录来保存.o 和.d 文件。他们会允许您仅重新编译已修改的文件

【讨论】：