【问题标题】:how to decide between DataprocWorkflowTemplateInstantiateOperator vs Bashoperator to instantiate dataproc workflow template from composer如何在 DataprocWorkflowTemplateInstantiateOperator 与 Bashoperator 之间做出决定,以从 composer 实例化 dataproc 工作流模板
【发布时间】:2021-02-02 04:54:28
【问题描述】:

我有一个用例,我需要从 composer 执行 dataproc 工作流模板。我正在使用一组 gcloud 命令来执行工作流模板的创建和实例化。 现在我想从作曲家实现它,所以我有两个可用于实现的选项: - 使用 bashoperator 运行 gcloud 命令批处理文件 - 创建模板,然后使用 DataprocWorkflowTemplateInstantiateOperator 进行实例化

我需要知道推荐什么方法以及为什么?

【问题讨论】:

    标签: airflow google-cloud-dataproc google-cloud-composer


    【解决方案1】:

    您可以使用DataprocInstantiateInlineWorkflowTemplateOperator 创建、实例化和删除工作流。更多关于内联实例化的信息可以在GCP documentation.找到。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-01-11
      • 2019-06-05
      • 2018-03-30
      • 2019-06-30
      • 2011-09-05
      相关资源
      最近更新 更多