【问题标题】:Airflow DataprocClusterCreateOperator气流 DataprocClusterCreateOperator
【发布时间】:2018-08-30 06:15:18
【问题描述】:

在 Airflow DataprocClusterCreateOperator 设置中:

我们是否有机会将 master 和 worker 的 Primary 磁盘类型设置为 pd-ssd

默认设置为standard

我正在查看文档 - 我没有找到任何参数。

【问题讨论】:

    标签: airflow google-cloud-composer


    【解决方案1】:

    很遗憾,DataprocClusterCreateOperator 中没有更改磁盘类型的选项。

    在 Google API 中,如果您将参数传递给 https://cloud.google.com/dataproc/docs/reference/rest/v1/projects.regions.clusters#diskconfig,则它是可用的

    我将尝试添加此功能,并且应该在 Airflow 1.10.1Airflow 2.0 中可用。

    现在,您可以创建一个 Airflow 插件来修改当前的 DataprocClusterCreateOperator

    【讨论】:

    • 修改后的 DataprocClusterCreateOperator 及其工作正常。谢谢
    【解决方案2】:

    这方面似乎有两个领域:

    master_machine_type: Compute engine machine type to use for the master node
    worker_machine_type: Compute engine machine type to use for the worker nodes
    

    我发现这只是在这里查看源代码(这是最新的,但没有提供版本,所以我假设是最新版本):

    https://airflow.readthedocs.io/en/latest/_modules/airflow/contrib/operators/dataproc_operator.html

    【讨论】:

    • 自定义 DataprocClusterCreateOperator,为 master 和 worker 添加了“bootDiskType”,它工作正常谢谢
    猜你喜欢
    • 2021-04-01
    • 2022-01-18
    • 2020-12-06
    • 2021-05-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-10-13
    相关资源
    最近更新 更多