【问题标题】:How to run airflow script after previous airflow script is complete?之前的气流脚本完成后如何运行气流脚本?
【发布时间】:2018-11-08 11:29:26
【问题描述】:

我知道,例如,如果我们在 data 文件夹中有多个 sql 文件,我们可以在最后设置像 script1 >> script2 这样的优先级。 但是,我们可以设置实际在 dag 文件夹中的其他气流脚本的优先级吗?

【问题讨论】:

    标签: python google-cloud-platform airflow airflow-scheduler


    【解决方案1】:

    那些不是优先级,那些是执行顺序。如果您希望某个特定 DAG 先执行,则只需将其设置为比其他 DAG 更早的执行时间。

    script1 >> script2表示先执行script1,然后再执行script2。

    您可以尝试通过将特定 DAG 分配给 named queue 来人为地强制执行优先级,它是在该命名队列中执行的唯一 DAG。除此之外,没有明确的方法可以为整个 DAG 提供优先级。

    但是,对于 DAG 中的运算符,您可以在 BaseOperator 中使用 priority_weight 参数。

    【讨论】:

    • 感谢 Medhdeep 说得通!
    猜你喜欢
    • 2023-03-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-07
    • 1970-01-01
    • 1970-01-01
    • 2017-09-16
    • 1970-01-01
    相关资源
    最近更新 更多