【发布时间】：2019-03-24 17:01:00
【问题描述】：
想象一下 EMR 中的两个场景：
在单个节点上以本地模式运行 spark 作业。
在集群模式下的小型两节点集群（主从集群）上运行相同的作业。
我的问题是：这两项工作是否需要相似的时间才能完成？
因为据我了解，主节点本身不执行任何任务，是这样吗？是否可以“启用”任务在小型集群的主节点中运行？
【问题讨论】：
标签： apache-spark cluster-computing amazon-emr
【发布时间】：2019-03-24 17:01:00
【问题描述】：
回答您的第一个问题，在给定的场景中，性能取决于您在单节点和双节点集群中运行的执行器数量。
如果没有。 executor 在两种情况下保持不变，您将获得几乎相同的性能。会有细微的差别，因为在 2 节点集群中会有更多的网络和调度程序开销，这是最低限度的。
在单节点集群中，您将让所有驱动程序、集群管理器和您的执行程序在同一个节点中运行。这意味着同一个节点就像主节点和工作节点一样，在同一台机器上运行驱动程序和执行程序并执行任务
【讨论】：