Datastax Enterprise 集群中的 Spark Master 是如何选举产生的？

【问题标题】：How is the Spark master elected in a Datastax Enterprise cluster?Datastax Enterprise 集群中的 Spark Master 是如何选举产生的？
【发布时间】：2015-06-16 00:06:26
【问题描述】：

Datastax Enterprise 集群中的 Spark 主节点如何选举？我查看了/etc/dse/dse-env.sh 和/etc/dse/spark/spark-defaults.conf 和/etc/dse/spark/spark-env.sh 中的配置。但我在这些位置都找不到？

在我们的集群上，Spark 主服务器在服务重启后继续从一个节点移动到另一个节点？

【问题讨论】：

标签： apache-spark datastax

【解决方案1】：

在 DSE 4.6 中，Spark Master / Hadoop Job Tracker（总是在同一个节点上）由循环算法确定并存储在 jobtracker 表中。这可能会在未来的版本中发生变化。

您可以使用以下方法检查并查看您当前的主人是什么：

dsetool listjt

如果已配置，这将输出您当前的主服务器和备用主服务器。

要配置保留主使用：

dsetool reservejt

输出可能如下所示：

 $ dsetool listjt DC                             JobTracker   
 --                             --            
 Analytics-Analytics            192.168.101.122 
 ------ Reserve-JT = 192.168.101.121

【讨论】：