如何在 Yarn 上配置应用程序驱动的自动重启

Question

来自 Spark 编程指南

为了自动从驱动程序故障中恢复，用于运行流式应用程序的部署基础架构必须监视驱动程序进程并在驱动程序发生故障时重新启动该驱动程序。不同的集群管理器有不同的工具来实现这一点。

Spark 标准版

• Spark Standalone - 可以提交 Spark 应用程序驱动程序以在 Spark Standalone 集群中运行（请参阅集群部署模式），即应用程序驱动程序本身运行在其中一个工作节点上。此外，可以指示独立集群管理器监督驱动程序，并在驱动程序由于非零退出代码或由于运行驱动程序的节点故障而失败时重新启动它。有关更多详细信息，请参阅 Spark Standalone 指南中的集群模式和监督。
• YARN - Yarn 支持自动重启应用程序的类似机制。有关详细信息，请参阅 YARN 文档。 ……

  那么，问题是如何支持 Spark 的自动重启 在 Yarn 上流式传输。

谢谢和最好的问候，

道

Answer 1

如此处所述： https://spark.apache.org/docs/latest/running-on-yarn.html

spark.yarn.maxAppAttempts -
"提交申请的最大尝试次数。它不应大于 YARN 配置中的全局最大尝试次数。"

设置“YARN 配置中的全局最大尝试次数”：

https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

yarn.resourcemanager.am.max-attempts - "最大应用尝试次数，是所有应用主控的全局设置，每个应用主控都可以通过API指定自己的最大应用尝试尝试次数，但不能超过全局上限。如果是，资源管理器将覆盖它。默认数字设置为 2，以允许 AM 至少重试一次"

Answer 2

您正在寻找的是在纱线“集群模式”下启动应用程序的一组指令： https://spark.apache.org/docs/latest/running-on-yarn.html

这意味着您的驱动程序应用程序在 YARN 上的集群上运行（而不是在您的本地机器上）。因此，如果失败，它可以由 YARN 重新启动。