在 docker 中在 Mesos 上运行 Spark 时出错答案

【问题标题】：Error in running Spark on Mesos in docker在 docker 中在 Mesos 上运行 Spark 时出错
【发布时间】：2019-01-27 12:18:34
【问题描述】：

我有两个带有 docker 的节点。每个 docker 上都安装了 Zookeeper、Mesos 和 Spark。我在“奴隶”文件上指定“奴隶”，我只有一个主人和一个奴隶。此外，我在同一路径中的每个节点上都有一个“docker-compose.yaml”。我在每个节点中执行“docker-compose up”。然后在主节点，docker里面，我运行dispatcher：

  "/home/spark/sbin/start-mesos-dispatcher.sh     --master 
  mesos://150.20.11.136:5050".

之后我用这个命令运行我的程序：

 "/home/spark/bin/spark-submit --name test_mesos --master 
 mesos://150.20.11.136:5050 --executor-cores 4 --executor-memory 6G -- 
 files iran2.npy --py-files a.zip myprogram.py".

运行我的程序时，我收到此错误：

初始作业没有接受任何资源；检查您的集群 UI 以确保工作人员已注册并拥有足够的资源

我搜索了很多。我禁用了防火墙，第一次工作；但现在我根本不工作。此外，我通过 docker compose 文件中的“expose”打开了 docker 中的所有端口。我减少了提交命令中的资源。但他们都没有解决我的问题。

你能告诉我我做错了什么吗？

任何帮助将不胜感激。

提前致谢。

【问题讨论】：

标签： docker apache-spark apache-zookeeper mesos

【解决方案1】：

我用这个命令运行了 docker，我的程序运行没有任何错误。但是花了很多时间，我不知道可能是因为Mesos。

Sudo docker run --network host -it ubuntu_mesos_spark_python3.6_oraclient

我希望这一点可以解决其他问题。

【讨论】：