Luigi Orchestrator 中的并行任务

Question

我定义了三个任务T1、T2和T3，然后定义了一个任务T4如下：

class T4(luigi.Task)
    def requires(self):
        return [T1(), T2(), T3()]

有没有自然的方式告诉 Luigi 我希望这些任务 T1、T2 和 T3 并行执行？

Answer 1

这取决于 T1、T2 和 T3 有什么依赖关系。如果他们没有其他任务作为公共依赖项，您可以只运行指定--workers=3 和Luigi will run each task in a separate worker 的任务。