【问题标题】:Return the actual connected DAG data from Apache Airflow Rest API, such that one can build their own UI to visualize the DAGs从 Apache Airflow Rest API 返回实际连接的 DAG 数据,这样人们就可以构建自己的 UI 来可视化 DAG
【发布时间】:2021-06-19 17:39:22
【问题描述】:

我正在使用Apache Airflow REST API

支持许多基本命令。例如,我可以通过运行返回特定 DAG 的信息:

https://8080/my_url/api/experimental/dags/example_pig_operator/dag_runs

...返回:

[{
    "dag_id": "example_pig_operator",
    "dag_run_url": "/admin/airflow/graph?dag_id=example_pig_operator&execution_date=2021-06-18 19:57:31+00:00",
    "execution_date": "2021-06-18T19:57:31 00:00",
    "id": 4,
    "run_id": "manual__2021-06-18T19:57:31 00:00",
    "start_date": "2021-06-18T19:57:31.474920 00:00",
    "state": "running"
}]

但这并不能告诉你什么与什么有关。我看不到如何检索用于构建树的实际 DAG 数据。

有没有办法返回实际连接的 DAG 数据,以便人们可以构建自己的 UI 来可视化 DAG?

看来我们应该可以使用TaskInstance endpoint,但我看不到如何获得dag_run_id

【问题讨论】:

    标签: api rest airflow directed-acyclic-graphs


    【解决方案1】:

    您的请求调用 DAG,而不是 DAG。实验性 API 不支持检索 DAG。请考虑使用新的REST API 迁移到 Airflow 2.0,因为 1.10.X 已于昨天(6 月 17 日)终止。

    【讨论】:

    • 似乎没有任何关于如何为较新的 REST API 版本安装插件的文档。任何想法从哪里获得这个插件?
    • 新 API 不是插件。你需要upgrade your Airflow to 2+ version
    猜你喜欢
    • 1970-01-01
    • 2011-04-01
    • 2019-08-19
    • 2020-04-13
    • 2019-04-30
    • 1970-01-01
    • 1970-01-01
    • 2020-07-04
    • 1970-01-01
    相关资源
    最近更新 更多