【问题标题】:How do I clear the state of a dag run with the CLI in airflow/composer?如何在气流/作曲家中使用 CLI 清除 dag 运行的状态?
【发布时间】:2018-05-30 21:45:50
【问题描述】:

我以为我可以使用命令:

g beta composer environments run <env> --location=us-central1 clear -- <dag_id> -s 2018-05-13 -e 2018-05-14

清除 dag 的状态在 2018-05-13 运行。由于某种原因,它不起作用。发生的情况是 CLI 挂起如下消息:

kubeconfig entry generated for <kube node name>.

上述命令的预期行为是什么?我希望它能够清除间隔内的 dag 运行,但我可能做错了什么。

【问题讨论】:

    标签: airflow airflow-scheduler google-cloud-composer


    【解决方案1】:

    在 Cloud Composer 上运行 clear 需要您将 -c 参数添加到命令中,如下所示:

    g beta composer environments run <env> --location=us-central1 clear -- <dag_id> -c -s 2018-05-13 -e 2018-05-14

    【讨论】:

    【解决方案2】:

    您编写的命令的行为与在本地安装上运行 airflow clear 相同。也许命令只是运行缓慢?您是否能够观察到 Airflow Web UI 中显示的任务实例的任何变化?

    【讨论】:

    • 然后它必须运行得非常慢,没有观察到 UI 的任何变化。甚至当我“挑选”一个要清除的日期时也没有。
    • 回填命令是在等待实际回填完成还是只是启动回填?
    • 与 composer-1-6-1-airflow-1-10-1-0ff3124e 版本有同样的问题。有什么解决方法吗?
    • 可以设置 poke_interval = 0
    【解决方案3】:

    你可以使用:

    gcloud composer environments run instance-id --location us-central clear -- -s 2018-05-13 -e 2018-05-14 -dx DagID
    

    -dx 将找到与您的 dag 名称相似的所有 dag, -c 将运行命令而无需等待您的确认。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2019-01-29
      • 2020-04-11
      • 1970-01-01
      • 2017-03-31
      • 2021-04-25
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多