SCons 对编译时生成的文件的依赖

Question

我正在尝试设置 SCons 以遵循构建期间自动生成的文件的依赖关系，并在多线程构建中正常工作。

我正在构建的项目是一个 CIM 提供程序，由定义数据结构的 MOF 文件、来自 MOF 文件的自动生成的源文件和头文件以及引用自动生成的文件的手写源文件和头文件组成。为了使构建成功，自动生成步骤必须在任何手写文件编译之前运行完成，否则手写文件所依赖的头文件将不存在并且将失败。自动生成步骤创建的 .cpp 文件也必须添加到源列表并在最终构建中编译。

运行单线程构建时，一切正常，因为自动生成步骤总是在编译步骤之前完成，所以生成的头文件就位。但是，在多线程运行构建时，它会在自动生成步骤完成之前尝试编译手写文件，并且构建失败。我已经指定了一个明确的依赖，但 SCons 没有遵循它。

这是我的 SConscript 文件的相关部分，我从 cim_targets[] 中删除了单个文件名，因为列表很长，但总而言之，cim_targets[] 是自动生成步骤的目标输出文件列表 provider_sources[]是自动生成步骤完成后返回的源列表，sources[] 是手写源文件的列表，GenProvider() 是执行自动生成步骤的外部定义的命令构建器，SharedLibrary() 是执行自动生成步骤的外部定义的构建器听起来，使用带有一些扩展的 SCons 库构建器

# Define directory paths for the CIM schema
cim_dir = 'cim-schema-2.26.0'

var_smis_dir   = Dir('.').abspath # src/lib/XXX in variant

cim_sources = [
    Glob(os.path.join(cim_dir, '*qualifiers*.mof')),
    Glob(os.path.join(cim_dir, 'Core')     + '/CIM_*.mof'),
    Glob(os.path.join(cim_dir, 'Device')   + '/CIM_*.mof'),
    Glob(os.path.join(cim_dir, 'Event')    + '/CIM_*.mof'),
    Glob(os.path.join(cim_dir, 'XXXXXX')   + '/XXX_*.mof'),
    Glob(os.path.join(cim_dir, 'Interop')  + '/CIM_*.mof'),
    Glob(os.path.join(cim_dir, 'Physical') + '/CIM_*.mof'),
    Glob(os.path.join(cim_dir, 'System')   + '/CIM_*.mof'),
]

cim_sources_flat = []
for cim in cim_sources:
    for src in cim:
        cim_sources_flat.append(src)

cim_targets = [
    ......
]

sources = [
    'driver.cpp',
    'device.cpp',
    'cim_static_data.cpp',
    'module.cpp',
    'diag_log.cpp',
    'profile_element.cpp',
]

staticlibs = [
    ......
    ]


dynamiclibs = [
    .....
    ]

var_cim_sources = this_env.Install(var_smis_dir, cim_sources_flat)

cim_mof = 'cimv226.mof'

cim_linux_mof = os.path.join(cim_dir, 'cimv226-gen-flat.mof')

var_cim_sources.extend(this_env.Command(cim_mof, cim_linux_mof, Copy('$TARGET', '$SOURCE')))

# first generate the provider infrastructure using cimple
provider_sources = this_env.GenProvider(cim_targets, var_cim_sources, name, var_smis_dir)

# make sure these files don't build until AFTER the provider files have been created
this_env.Depends(sources, provider_sources)

sources_full = provider_sources + sources

# now we can compile the provider
this_env.SharedLibrary(libname, source=sources_full, staticlibs=staticlibs, dynamiclibs=dynamiclibs, installpath=install_dir)

我尝试设置显式依赖项，以便在创建所有生成的源代码之前不会编译手写源代码 (this_env.Depends(sources, provider_sources))，但是在运行多线程时，SCons 会忽略此依赖关系并尝试编译手写自动生成步骤完成之前的文件。

Answer 1

您是否尝试过使用此处定义的 SideEffect() 函数：

SCons Wiki: SideEffect

我不确定它是否完全符合您的需要，但可能会有所帮助。

Answer 2

我能够通过将生成的文件作为Command 的目标来解决这个问题。例如，假设您有一个文件foo.c：

#include <stdio.h>
#include "foo.h"
int main() {}

并说需要先生成foo.h，然后才能构建foo.c。你可以这样做：

import time

def build_foo(target, source, env):
    print("Generating foo source files")
    time.sleep(5)
    with open("foo.h", "w") as f:
        f.write("")
    # Generate bar.so, which we need later for X, blah blah blah
    print("Done generating")

env = Environment()
env.Command(['foo.h', 'bar.so'], 'foo.in', build_foo)
env.Program('foo', 'foo.c')

构建输出如下所示：

$ scons -Q -j4
build_foo(["foo.h", "foo.so"], ["foo.in"])
Generating foo source files
Done generating
gcc -o foo.o -c foo.c
gcc -o foo foo.o

如果您省略 foo.h 作为目标（即 env.Command(['bar.so'], 'foo.in', build_foo)，则构建输出如下所示：

$ scons -Q -j4
gcc -o foo.o -c foo.c
build_foo(["foo.so"], ["foo.in"])
Generating foo source files
foo.c:2:10: fatal error: foo.h: No such file or directory
 #include "foo.h"
          ^~~~~~~
compilation terminated.
scons: *** [foo.o] Error 1
Done generating