【发布时间】：2016-09-29 18:43:06
【问题描述】：
我担心为Google Cloud Dataproc 集群设置一个主节点可能会引入单点故障。我希望我的集群在主节点意外故障的情况下具有（更多）弹性。
是否可以配置我的 Cloud Dataproc 集群，使其使用某种形式的高可用性来降低单个主节点故障事件的风险？理想情况下，我还想对 YARN/Hadoop/HDFS 高可用性使用标准方法，因此不需要（或不需要）自定义软件。
【问题讨论】：
【发布时间】：2016-09-29 18:43:06
【问题描述】：
Google Cloud Dataproc 在服务中内置了高可用性 (HA) 模式。在 HA 模式下，Cloud Dataproc 集群同时支持 HDFS High Availability 和 YARN High Availability，并且这两个组件都配置为允许在任何单节点故障/重启的情况下不间断地进行 YARN 和 HDFS 操作。
关于 Cloud Dataproc HA 模式，有几点需要牢记：
- HA 功能目前处于测试阶段
- 所有节点都使用Apache Zookeeper 进行故障转移
- 通过 Cloud Dataproc 作业 API 提交的作业不被视为“高可用性”，并且仍会在运行相应作业驱动程序的主节点出现故障时终止
有关 Cloud Dataproc HA 模式的更多信息，see the documentation。该文档还提供了有关如何在作业工具/API 之外向集群提交工作的说明。
【讨论】：