【问题标题】:How to combine multiple DAGs in Airflow如何在 Airflow 中组合多个 DAG
【发布时间】:2020-01-23 17:06:58
【问题描述】:

我真的需要知道如何使用 Airflow 让多个 DAG 相互调用(例如 DAG_1 >> DAG_2),类似于它如何使用上游/下游运算符在 DAG 中运行任务。我需要知道如何设置,这样 Airflow 将运行 DAG_1,然后在 DAG_1 成功完成后运行 DAG_2

最好我希望在 Airflow dag 文件夹中的单独文件中包含 DAG_1DAG_2,然后在开始时将 DAG_2 调用 DAG_1 作为前置步骤它的运行,或者有一个单独的“主” DAG,它创建并运行一个 DAG,其中每个任务都是另一个 DAG,而不是任务操作符。

如果有人知道怎么做,请告诉我,我真的需要一些帮助。如果有人知道怎么做,我也会接受在同一个文件中制作和连接两个单独的 DAG,但最好是链接的 DAG 位于不同的文件中。

提前感谢您的帮助。

【问题讨论】:

标签: python python-3.x airflow directed-acyclic-graphs


【解决方案1】:

您可以使用TriggerDagRunOperator,它将 DAG id 作为参数并触发它

见官方例子here

【讨论】:

    猜你喜欢
    • 2021-02-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-08-14
    • 1970-01-01
    • 1970-01-01
    • 2021-12-08
    相关资源
    最近更新 更多