【问题标题】:Difference between BeamRunPythonPipelineOperator and DataFlowPythonOperator in apache airflowapache气流中BeamRunPythonPipelineOperator和DataFlowPythonOperator的区别
【发布时间】:2022-01-21 23:19:43
【问题描述】:

我正在尝试在 Airflow 中运行一个执行数据流作业的作业。我意识到有 2 个运算符,即 BeamRunPythonPipelineOperator 和 DataFlowPythonOperator,这两个运算符都可以将作业提交到数据流,但我担心它们之间的区别。 它们之间有什么区别吗?请帮我。任何帮助将不胜感激?

【问题讨论】:

    标签: airflow google-cloud-dataflow apache-beam dataflow


    【解决方案1】:

    一般:

    1. DataFlowPythonOperator 类已弃用,建议改用DataflowCreatePythonJobOperator
    2. DataflowCreatePythonJobOperator 类已弃用,建议改用BeamRunPythonPipelineOperator

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2022-08-22
      • 2020-06-18
      • 2021-12-15
      • 2018-12-14
      • 1970-01-01
      • 2020-03-21
      • 1970-01-01
      • 2021-04-01
      相关资源
      最近更新 更多