在同一个 apache spark 集群上提交两个应用程序会在同一个 JVM 或不同的 JVM 上生成驱动程序进程答案

【问题标题】：Submitting two applications on same apache spark cluster spawns driver processes on same JVM or on different在同一个 apache spark 集群上提交两个应用程序会在同一个 JVM 或不同的 JVM 上生成驱动程序进程
【发布时间】：2017-06-06 11:37:46
【问题描述】：

我有一个问题。如果我在 yarn-client 模式下在同一个 spark 集群上提交两个应用程序，它会为同一 JVM 上的每个应用程序生成两个驱动程序进程，还是会为客户端主机上的每个驱动程序进程生成不同的 JVM？

另外，如果我以 yarn-cluster 模式在同一个 spark 集群上提交两个应用程序，它会为每个应用程序创建两个不同的应用程序主进程，然后这些主进程将处理不同 JVM 中的每个应用程序，或者只有一个应用程序主进程是为提交给 Spark 集群的所有应用程序创建，并且每个驱动程序进程在单个 JVM 中的这个主进程下运行？

【问题讨论】：

在 Apache-spark 中还有一种方法可以让我将多个应用程序提交到 spark 集群，并且它们的驱动程序进程在同一个 JVM 上运行，这样我就可以在它们之间共享单例 spark 上下文？跨度>

标签： apache-spark

【解决方案1】：

在客户端模式下，每个应用程序将使用在其自己的本地 JVM 中运行的单独驱动程序进程。此外，每个应用程序都有自己的远程主机，负责请求资源。

【讨论】：

感谢您的回复。因此，在集群模式的情况下，如果我提交两个应用程序，那么在这种情况下，两个驱动程序进程将在具有自己的 JVM 的单独应用程序主进程中创建，或者两个驱动程序进程将在同一 JVM 下运行的单个应用程序主进程中创建。 ?
在这种情况下，将创建两个应用程序主控，每个主控都有自己的驱动程序。