【问题标题】:fetch the rendered query from one Dag to another Dag从一个 Dag 获取呈现的查询到另一个 Dag
【发布时间】:2021-12-31 04:31:28
【问题描述】:

我们在气流中有两个 dag,dag A 有一些参数化的 SQL 查询,这些查询在 BQ 中使用 BigQuery 运算符执行。我想编写 dag B,它可以获取 dag A 的呈现查询。 有什么指导吗?

【问题讨论】:

  • 能否请您发布您的代码,您尝试过的内容和预期的输出?

标签: python google-bigquery airflow airflow-scheduler


【解决方案1】:

查询可以参数化的事实表明它是模板化字段之一。这些总是在执行任务时呈现,并且它们的值保存在rendered_task_instance_fields 表中(这里是SQLAlchemy model)。

因此您可以在 DAG B 中查询此表以获取 DAG A 中任务的最后一个值。

【讨论】:

    猜你喜欢
    • 2022-06-11
    • 2021-07-21
    • 2020-07-04
    • 2020-08-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多