【问题标题】:Accessing Airflow REST API in AWS Managed Workflows?在 AWS Managed Workflows 中访问 Airflow REST API?
【发布时间】:2021-04-21 17:22:23
【问题描述】:

我在 AWS MWAA 中运行 Airflow,我想访问 REST API,有两种方法可以做到这一点,但似乎对我不起作用。

  1. 覆盖 api.auth_backend。这曾经有效,现在 AWS MWAA 不允许您添加它,它被视为“阻止列表”并且不允许。
    api.auth_backend = 气流.api.auth.backend.default

  2. 使用 MWAA Cli(Python)。如果任何 DAG 使用了 requirments.txt 文件中的包,这将不起作用。
    一种。例如,我在 requirements.txt 中有“paramiko”,因为我有一个使用 SSHOperator 的任务。 MWAA Cli 因“无模块 paramiko”而失败

    b.还注意到这里,https://docs.aws.amazon.com/mwaa/latest/userguide/access-airflow-ui.html “如果 DAG 使用依赖于通过 requirements.txt 安装的包的插件,则任何解析 DAG 的命令(例如 list_dags、回填)都会失败。”

【问题讨论】:

  • 您找到解决问题的方法了吗?
  • @ypicard 不幸的是,他们确实发布了 Airflow 2.x 作为 MWAA 的一部分。我要测试那个版本。
  • 我在 MWAA 中运行 Airflow v2.x,API 目前在此版本中不可用。 stackoverflow.com/questions/67884770/…
  • @ypicard 真不幸。

标签: amazon-web-services airflow mwaa airflow-api


【解决方案1】:

我们正在使用 MWAA 2.0.2 并设法通过 MWAA CLI 使用 Airflow 的 Rest-API,基本上遵循 Apache Airflow CLI command reference 的说明和示例代码。您会注意到并非所有的 Rest-API 调用都受支持,但其中许多都受支持(即使您有一个 requirements.txt)。

也可以看看AWS sample codes on GitHub

【讨论】:

    猜你喜欢
    • 2021-05-26
    • 2022-12-12
    • 2023-03-09
    • 1970-01-01
    • 2021-09-07
    • 1970-01-01
    • 1970-01-01
    • 2021-08-22
    • 1970-01-01
    相关资源
    最近更新 更多