Airflow on Demand DAG，多个实例同时运行答案

【问题标题】：Airflow on demand DAG with multiple instances running at the sametimeAirflow on Demand DAG，多个实例同时运行
【发布时间】：2019-05-07 19:13:01
【问题描述】：

我正在尝试查看我的气流是否适合这种情况。目前，我有一个 DAG。这会在 s3 上查找触发器文件，创建 EMR 集群并提交 Spark 作业，然后删除 EMR 集群。我的要求是将其转换为按需运行。将有许多用户从应用程序运行导出。对于每次导出运行，我都必须调用此 DAG。这意味着同一 DAG 的实例将同时运行不止一次。

我知道我们会调用 API 来触发 DAG。但我不确定我们是否可以同时运行多个 DAG 实例。谁能有类似的用例？

【问题讨论】：

标签： airflow airflow-scheduler

【解决方案1】：

我正在使用 max_active_runs 处理这个问题

dag = DAG(
    'dev_clickstream_v1',
    max_active_runs=5,
    default_args=DEFAULT_ARGS,
    dagrun_timeout=timedelta(hours=2),
    params=PARAMS
)

【讨论】：

您好！我想知道你是否找到了答案？我处于类似的情况，需要一种异步和按需运行 DAG 的方法。谢谢！
是的，我正在调用 API 来触发 DAG。更重要的是，如上所述需要在dag中设置max_active_runs参数。