【问题标题】:Do we need install spark worker node on all data node?我们是否需要在所有数据节点上安装 Spark 工作节点?
【发布时间】:2016-09-06 20:47:16
【问题描述】:

我正在计划一个新的火花簇。我的问题是我需要在所有数据节点上安装 Spark 工作节点吗?例如,如果我有 50 个数据节点,而我只安装了 10 个 spark worker 节点,是否合理? 谢谢!

【问题讨论】:

  • 这取决于您要使用的 Spark 模式,对于独立的您需要安装在所有节点上,对于纱线您只需安装在一个节点上,您将在其中启动您的 Spark 作业。

标签: hadoop apache-spark


【解决方案1】:

是的,您需要在所有节点上安装 spark worker,因为默认情况下您无法预测将使用哪个节点。 多节点spark安装请找this link

【讨论】:

    猜你喜欢
    • 2019-10-28
    • 2021-04-17
    • 1970-01-01
    • 1970-01-01
    • 2017-01-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-01-23
    相关资源
    最近更新 更多