【问题标题】:Airflow `BeamRunPythonPipelineOperator` does not respect `wait_until_finished = False`气流`BeamRunPythonPipelineOperator`不尊重`wait_until_finished = False`
【发布时间】:2022-08-22 04:56:05
【问题描述】:

我尝试运行一个简单的 DAG,它异步提交 beam python pipeline 和等待管道完成的 sensor,如气流/光束 best practice 中所建议的那样。

根据气流官方文档,Airflow 操作员应该异步提交 Beam 作业,其中wait_for_the_beam_job 任务正在检查submit_beam_job 的状态,并在作业完成时将传感器任务标记为完成。

没想到,梁正在同步运行。你知道如何解决这个问题吗? 这是我最小的可重现示例:https://github.com/MichaelDuemcke/minimal-reproducible-example-airflow-waiting-beam

    标签: python-3.x airflow google-cloud-dataflow apache-beam


    【解决方案1】:
    猜你喜欢
    • 2022-01-21
    • 2021-04-26
    • 2021-12-15
    • 1970-01-01
    • 2014-06-09
    • 2012-07-28
    • 2019-06-18
    • 2015-05-06
    • 1970-01-01
    相关资源
    最近更新 更多