【问题标题】:Not able to launch Spark cluster in Standalone mode with start-all.sh无法使用 start-all.sh 在独立模式下启动 Spark 集群
【发布时间】:2016-06-11 08:28:23
【问题描述】:

我是 spark 新手,我正在尝试将 Spark Standalone 安装到 3 节点集群。我已经完成了从主节点到其他节点的无密码 SSH。

我尝试了以下配置更改

  • 更新了 conf/slaves.sh 文件中 2 个节点的主机名。创建了 spark-env.sh 文件并使用主 URL 更新了 SPARK_MASTER_IP 另外,尝试了 更新 spark-defaults.conf 文件中的 spark.master 值

    conf/slaves.sh 的快照

    # A Spark Worker will be started on each of the machines listed below.
    Spark-WorkerNode1.hadoop.com
    Spark-WorkerNode2.hadoop.com
    

spark-defaults.conf 的快照

    # Example:
      spark.master                     spark://Spark-Master.hadoop.com:7077

但是当我尝试通过在 master 上运行 start-all.sh 来启动集群时,它无法识别工作节点并以本地方式启动集群。

它没有给出任何错误,日志文件显示成功启动服务'sparkMaster'和成功启动服务'sparkWorker'在master上。

我尝试在各个节点上运行 start-master 和 start-slave 脚本,它似乎工作正常。我可以在 Web UI 中看到 2 个工作人员。我正在使用火花 1.6.0

有人可以帮我解决我在尝试运行 start-all 时缺少的东西吗?

【问题讨论】:

  • 请提供日志。没有这些,我们只能猜测。
  • 有类似问题。对此有何解决方案?与 master 的手动工作附件一起工作,但是当我运行 start-all.sh 时,工作节点显示在主 UI 中,但工作节点 <ip>:8081 的链接不起作用。

标签: apache-spark


【解决方案1】:

conf/slaves.sh 的快照

文件应命名为slaves,不带扩展名。

【讨论】:

    猜你喜欢
    • 2014-03-10
    • 1970-01-01
    • 1970-01-01
    • 2018-06-25
    • 1970-01-01
    • 1970-01-01
    • 2018-10-21
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多