【发布时间】：2016-08-05 05:32:52
【问题描述】：
正在寻找 Apache Spark 2.0.0 Docker 映像，准备好从任何公共存储库中提取，支持集群。
【问题讨论】：
标签： apache-spark docker cluster-computing
【发布时间】：2016-08-05 05:32:52
【问题描述】：
目前没有这样的图像。由于其网络行为，在 Docker 中运行 Spark 很棘手：
- 它打开了很多端口，其中一些是动态决定的（用于 TorrentBroadcast）。
- 它希望公布其主机名，以便能够接收来自执行程序的传入连接。
我找不到现成的图像，我放弃解决上述问题。我采用了使用主机网络在 Docker 中运行我的 Spark 应用程序的解决方法。
【讨论】：
-
我最终还使用了“主机”网络，此外还有I set
SPARK_PUBLIC_DNS和SPARK_LOCAL_IP来匹配主机自己的IP（地址如192.x.x.x 或10.x.x.x）。如果没有它，Spark 可能会宣传和/或绑定到 docker 的 172.x.x.x ip。 -
如果您能指出您迄今为止使用 docker 遇到的问题，我将不胜感激您是否尝试使用 Kubernetes 来解决您遇到的网络问题？
-
我没有尝试过 Kubernetes。我发现的问题也在sometechshit.blogspot.hu/2015/04/… 中描述。那篇博客文章也提出了解决方案，我尝试跟随，但在某些时候我放弃了，只是切换到主机网络。无需额外调整即可正常工作。 （我没有设置
SPARK_PUBLIC_DNS和SPARK_LOCAL_IP。）