如何使 Spark 驱动程序对 Master 重启有弹性？

Question

我有一个 Spark Standalone（不是 YARN/Mesos）集群和一个正在运行的驱动程序应用程序（在客户端模式下），它与该集群通信以执行其任务。但是，如果我关闭并重新启动 Spark 主服务器和工作程序，驱动程序不会重新连接到主服务器并恢复其工作。

也许我对 Spark Master 和驱动程序之间的关系感到困惑。在这种情况下，Master 是否负责重新连接到驱动程序？如果是这样，Master 是否会将其当前状态序列化到磁盘某个它可以在重启时恢复的位置？

Answer 1

在这种情况下，是否是 Master 负责重新连接 还给司机？如果是，Master 是否序列化其当前状态 到可以在重启时恢复的磁盘？

主节点和驱动程序之间的关系取决于几个因素。首先，驱动程序是托管您的SparkContext/StreamingContext 并负责作业执行的驱动程序。它是创建 DAG 的那个，并持有分别分配阶段/任务的 DAGScheduler 和 TaskScheduler。如果您使用 Spark Standalone 并在“客户端模式”下运行作业，主节点可以充当驱动程序的主机。这样，Master 还托管驱动程序进程，如果它死了，驱动程序也会死掉。如果使用“集群模式”，驱动程序驻留在其中一个 Worker 节点上，并经常与 Master 通信以获取当前正在运行的作业的状态，发回有关已完成批次状态的元数据等。

在独立运行时，如果 Master 死了并且您重新启动它，则 Master 不会重新执行之前运行的作业。为了实现这一点，您可以创建并为集群提供一个额外的 Master 节点，并将其设置为 ZooKeeper 可以保持 Masters 状态，并在发生故障时在两者之间进行交换。当您以这种方式设置集群时，Master 知道它先前执行的作业并代表您恢复它们，新的 Master 已带头。

您可以阅读如何创建备用 Spark Master 节点in the documentation。