如何使用 mesos 或 kubernetes 基于容器创建 Spark 或 TensorFlow 集群？

Question

在阅读了关于the differences between mesos and kubernetes 和kubernetes-vs.-mesos-vs.-swarm 的讨论后，我仍然对如何通过一些熊金属主机和AWS（如私有云（OpenNebular））创建带有docker 容器的Spark 和TensorFlow 集群感到困惑。

目前，我能够构建一个静态 TensorFlow 集群，将 docker 容器手动分发到不同的主机。我只在熊金属主机上运行一个独立的火花。为容器手动设置mesos集群的方法可以参考here。

由于我的资源有限，我想找到一种方法将 docker 容器部署到当前的混合基础设施中以构建 tensorflow 或 spark 集群，这样我就可以在相同的资源上使用 tensorflow 或 spark 进行数据分析.

是否可以在带有 mesos 或 kubernetes 的混合基础架构上使用 docker 容器快速创建/运行/取消部署 spark 或 tensorflow 集群？我该怎么做？

欢迎任何 cmets 和提示。

Answer 1

鉴于你的资源有限，我建议你看看使用Spark helm，它给你：

• 1 x Spark Master，端口 8080 暴露在外部 LoadBalancer 上
• 3 x Spark Workers 使用 Horizo​​ntalPodAutoscaler 可在 CPU 达到 100m 的 50% 时扩展到最多 10 个 pod
• 1 x Zeppelin，端口 8080 暴露在外部 LoadBalancer 上

如果此配置不起作用，那么您可以构建自己的 docker 映像并部署它们，请查看 this blog series。正在努力使 Spark 更多 Kubernetes friendly。这个issue 也提供了一些见解。

没有研究过Tensorflow，建议你look at this blog