Google Dataproc 集群属性

【问题标题】：Google Dataproc Cluster PropertiesGoogle Dataproc 集群属性
【发布时间】：2019-11-11 23:41:43
【问题描述】：

我希望了解更多关于这些属性是否适用于整个集群\每个节点或两者组合的详细信息。对于 ecample spark:spark.executor.instances 2，这是整个集群的属性还是特定节点的属性？

【问题讨论】：

在集群的每个节点中配置属性。您可以在 /etc/spark 中找到它们。

标签： google-cloud-platform google-cloud-dataproc

【解决方案1】：

正如 dagang 所说，应在集群的每个节点上以相同的方式设置各种 Dataproc 属性。您可以在与spark:/core:/distcp:/hdfs:/mapred:/yarn: 对应的每个集群上归档的主要配置文件是（除了其他可选组件之外）：

/etc/spark/conf/spark-defaults.conf
/etc/hadoop/conf/core-site.xml
/etc/hadoop/conf/distcp-default.xml
/etc/hadoop/conf/hdfs-site.xml
/etc/hadoop/conf/mapred-site.xml
/etc/hadoop/conf/yarn-site.xml

其他文件可以在类似目录中找到。

【讨论】：