运行 taskA 并使用参数运行下一个任务，在 luigi 中返回 taskA

Question

我有一个任务，它会生成应该处理的文件：

class TaskA(luigi.Task):
    def run(self):
        # some code which generates list of files into output()
    def output(self):
        return luigi.LocalTarget(filepath='/path/to/process_these_files.json')

我有包装任务，它应该运行 TaskA，获取参数，并使用我放入 process_these_files.json 的值运行处理任务

class RunAll(luigi.WrapperTask):
    def requires(self):
        files = json.load(TaskA().open('r'))
        for file in files:
            yield ProcessFileTask(file=file)

有什么办法吗？

Answer 1

您可以使用动态依赖项。这些是在运行时知道的依赖项。每次您 yield 动态依赖时，run() 方法将一直保持到依赖完成为止。

例如：

class RunAll(luigi.WrapperTask): 
    def requires(self): 
        return TaskA() 

    def run(self):
        files = json.load(self.input().open('r')) 
        for file in files: 
            yield ProcessFileTask(file=file)

另见https://luigi.readthedocs.io/en/stable/tasks.html#dynamic-dependencies