每个节点（物理机）运行多个 Spark 实例有什么好处？

Question

在特定机器/节点上启动多个 spark 实例（master 或 worker）有什么好处？

spark standalone documentation 没有明确说明在同一节点上启动集群或多个工作程序。它似乎隐含地将一个工人等于一个节点

他们的hardware provisioning 页面说：

最后，请注意，Java VM 在 RAM 超过 200 GB 时并不总是表现良好。如果您购买的机器的 RAM 比这更多，您可以在每个节点上运行多个工作 JVM。在 Spark 的独立模式下，您可以使用 conf/spark-env.sh 中的 SPARK_WORKER_INSTANCES 变量设置每个节点的 worker 数量，并使用 SPARK_WORKER_CORES 设置每个 worker 的核心数。

那么除了处理大量内存或测试集群配置之外，每个节点运行多个工作程序是否有任何好处？

Answer 1

我认为明显的好处是在不损失性能的情况下提高了每台硬件的资源利用率。在并行性方面，一个多核的大执行器似乎与多核少的执行器相同。