【发布时间】:2021-12-31 04:31:28
【问题描述】:
我们在气流中有两个 dag,dag A 有一些参数化的 SQL 查询,这些查询在 BQ 中使用 BigQuery 运算符执行。我想编写 dag B,它可以获取 dag A 的呈现查询。 有什么指导吗?
【问题讨论】:
-
能否请您发布您的代码,您尝试过的内容和预期的输出?
标签: python google-bigquery airflow airflow-scheduler
我们在气流中有两个 dag,dag A 有一些参数化的 SQL 查询,这些查询在 BQ 中使用 BigQuery 运算符执行。我想编写 dag B,它可以获取 dag A 的呈现查询。 有什么指导吗?
【问题讨论】:
标签: python google-bigquery airflow airflow-scheduler
查询可以参数化的事实表明它是模板化字段之一。这些总是在执行任务时呈现,并且它们的值保存在rendered_task_instance_fields 表中(这里是SQLAlchemy model)。
因此您可以在 DAG B 中查询此表以获取 DAG A 中任务的最后一个值。
【讨论】: