【发布时间】:2016-09-06 20:47:16
【问题描述】:
我正在计划一个新的火花簇。我的问题是我需要在所有数据节点上安装 Spark 工作节点吗?例如,如果我有 50 个数据节点,而我只安装了 10 个 spark worker 节点,是否合理? 谢谢!
【问题讨论】:
-
这取决于您要使用的 Spark 模式,对于独立的您需要安装在所有节点上,对于纱线您只需安装在一个节点上,您将在其中启动您的 Spark 作业。
标签: hadoop apache-spark