如何将 spark-shell 连接到 Mesos？

Question

我正在尝试设置 Apache Spark 以在 Mesos 上运行，但我在终端上收到以下消息：

W0309 10:37:10.570291 4017 sched.cpp:700] 忽略框架注册的消息，因为它是从“master@127.0.1.1:5050”而不是领先的主控“master@127.0.0.1:5050”发送的

p>

此消息不断出现在 spark-shell 上，我无法运行任何命令。我使用以下命令启动了 spark-shell：

./bin/spark-shell --master mesos://127.0.0.1:5050 --conf spark.executor.uri=/home/user/spark/spark-1.6.0-bin-hadoop2.6.tgz

当我检查 Mesos WebUI 上的“框架”选项卡时，Spark Shell 被列为框架。

知道为什么我遇到上述消息并且无法从 spark-shell 运行命令吗？或者，有什么好的参考可以在 Mesos 上运行 Spark？

Answer 1

我将在这里做一些工作，但我假设您在启动mesos-master.sh 时没有指定--ip 参数。在这种情况下，您应该将启动脚本更改为：

./bin/spark-shell --master mesos://127.0.1.1:5050 --conf spark.executor.uri=/home/user/spark/spark-1.6.0-bin-hadoop2.6.tgz

我猜你的/etc/hosts 中有一个127.0.1.1 条目（或系统上用于该分辨率的任何文件），Mesos 默认解析为127.0.1.1。如果您出于某种原因愿意，可以使用ip 参数将其更改为127.0.0.1。