【发布时间】:2018-08-30 06:15:18
【问题描述】:
在 Airflow DataprocClusterCreateOperator 设置中:
我们是否有机会将 master 和 worker 的 Primary 磁盘类型设置为 pd-ssd?
默认设置为standard。
我正在查看文档 - 我没有找到任何参数。
【问题讨论】:
标签: airflow google-cloud-composer
在 Airflow DataprocClusterCreateOperator 设置中:
我们是否有机会将 master 和 worker 的 Primary 磁盘类型设置为 pd-ssd?
默认设置为standard。
我正在查看文档 - 我没有找到任何参数。
【问题讨论】:
标签: airflow google-cloud-composer
很遗憾,DataprocClusterCreateOperator 中没有更改磁盘类型的选项。
在 Google API 中,如果您将参数传递给 https://cloud.google.com/dataproc/docs/reference/rest/v1/projects.regions.clusters#diskconfig,则它是可用的
我将尝试添加此功能,并且应该在 Airflow 1.10.1 或 Airflow 2.0 中可用。
现在,您可以创建一个 Airflow 插件来修改当前的 DataprocClusterCreateOperator。
【讨论】:
这方面似乎有两个领域:
master_machine_type: Compute engine machine type to use for the master node
worker_machine_type: Compute engine machine type to use for the worker nodes
我发现这只是在这里查看源代码(这是最新的,但没有提供版本,所以我假设是最新版本):
https://airflow.readthedocs.io/en/latest/_modules/airflow/contrib/operators/dataproc_operator.html
【讨论】: