【问题标题】:Difference between BeamRunPythonPipelineOperator and DataFlowPythonOperator in apache airflowapache气流中BeamRunPythonPipelineOperator和DataFlowPythonOperator的区别
【发布时间】:2022-01-21 23:19:43
【问题描述】:
我正在尝试在 Airflow 中运行一个执行数据流作业的作业。我意识到有 2 个运算符,即 BeamRunPythonPipelineOperator 和 DataFlowPythonOperator,这两个运算符都可以将作业提交到数据流,但我担心它们之间的区别。
它们之间有什么区别吗?请帮我。任何帮助将不胜感激?
【问题讨论】:
标签:
airflow
google-cloud-dataflow
apache-beam
dataflow
【解决方案1】:
一般:
-
DataFlowPythonOperator 类已弃用,建议改用DataflowCreatePythonJobOperator。
-
DataflowCreatePythonJobOperator 类已弃用,建议改用BeamRunPythonPipelineOperator。