Apache Spark 无法正常启动答案

【问题标题】：Apache Spark not able to start properlyApache Spark 无法正常启动
【发布时间】：2018-03-03 14:15:39
【问题描述】：

第一种情况：

我已经在 ubuntu 14 上下载了 spark。但是当我在下面运行它时，结果来了。它无法正常启动并询问root用户密码。

root@sueeze-Lenovo-G580:~/Spark/spark-2.3.0-bin-hadoop2.6/sbin# ./start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /home/sueeze/Spark/spark-2.3.0-bin-hadoop2.6/logs/spark-root-org.apache.spark.deploy.master.Master-1-ashish-Lenovo-G580.out
root@localhost's password:

请问：

1) 这是什么？

2) 为什么会这样？

3) 为什么要询问 root 的密码？

情况2：

我已经通过在从文件中添加 localhost 来解决一种情况。

现在 master 和 worker 都在运行。我想知道错过了什么，但是当我添加 localhost 它开始运行？但是它在启动工作节点时仍然会询问我 root 的密码。我的意思是首先它会启动 Master，但是当它去 worker 启动时，它会询问 root 的密码。为什么？我该如何解决...？

我只在我的本地机器上运行 spark，所以我的本地机器的 master 和 slave 都可用。正确...？

谢谢

【问题讨论】：

标签： apache-spark

【解决方案1】：

独立集群的启动脚本使用 SSH 连接登录工作机器（无论是否在本地主机上）。

这就是脚本提示您输入密码的原因。

您需要在这些机器上使用 SSH 密钥配置无密码登录，以防止出现交互式提示。简而言之，这是关于允许命令ssh localhost 或ssh workermachinehost 正常运行而无需提示您输入密码（使用ssh-copy-id）

您应该能够使用非 root 用户，只要您在 master 和 worker 机器上创建了具有相同名称的用户。

查看this documentation 了解有关运行独立集群的信息。

【讨论】：