【发布时间】:2018-11-08 11:29:26
【问题描述】:
我知道,例如,如果我们在 data 文件夹中有多个 sql 文件,我们可以在最后设置像 script1 >> script2 这样的优先级。 但是,我们可以设置实际在 dag 文件夹中的其他气流脚本的优先级吗?
【问题讨论】:
标签: python google-cloud-platform airflow airflow-scheduler
我知道,例如,如果我们在 data 文件夹中有多个 sql 文件,我们可以在最后设置像 script1 >> script2 这样的优先级。 但是,我们可以设置实际在 dag 文件夹中的其他气流脚本的优先级吗?
【问题讨论】:
标签: python google-cloud-platform airflow airflow-scheduler
那些不是优先级,那些是执行顺序。如果您希望某个特定 DAG 先执行,则只需将其设置为比其他 DAG 更早的执行时间。
script1 >> script2表示先执行script1,然后再执行script2。
您可以尝试通过将特定 DAG 分配给 named queue 来人为地强制执行优先级,它是在该命名队列中执行的唯一 DAG。除此之外,没有明确的方法可以为整个 DAG 提供优先级。
但是,对于 DAG 中的运算符,您可以在 BaseOperator 中使用 priority_weight 参数。
【讨论】: