【发布时间】:2022-08-22 04:56:05
【问题描述】:
我尝试运行一个简单的 DAG,它异步提交 beam python pipeline 和等待管道完成的 sensor,如气流/光束 best practice 中所建议的那样。
根据气流官方文档,Airflow 操作员应该异步提交 Beam 作业,其中wait_for_the_beam_job 任务正在检查submit_beam_job 的状态,并在作业完成时将传感器任务标记为完成。
没想到,梁正在同步运行。你知道如何解决这个问题吗? 这是我最小的可重现示例:https://github.com/MichaelDuemcke/minimal-reproducible-example-airflow-waiting-beam
标签: python-3.x airflow google-cloud-dataflow apache-beam