是否可以使用一台 mac 和一台 ubuntu 机器创建多节点 spark 集群？答案

【问题标题】：Is it possible to create a multi node spark cluster using one mac and one ubuntu machine?是否可以使用一台 mac 和一台 ubuntu 机器创建多节点 spark 集群？
【发布时间】：2020-10-19 15:11:08
【问题描述】：

我有一台运行 Ubuntu 的 mac 和一台戴尔笔记本电脑。是否可以使用运行不同操作系统的这两台机器创建 Spark 集群？

【问题讨论】：

标签： apache-spark distributed-computing

【解决方案1】：

我试了一下，能够使用运行 macOS 的 mac 和运行 ubuntu 桌面的戴尔笔记本电脑创建一个两节点 spark 集群。我必须确保 Java、Spark、Scala 的路径在机器和 spark 目录上的权限上都匹配。

【讨论】：

不建议这样做，但是，除非您使用 Puppet 管理两个系统，例如 Ansible
我对此很陌生，并且想进行此设置以学习火花（因为它们是火花在多节点集群上运行时的差异）。当您说不建议时，是因为不同的操作系统还是一般？
不应该有差异。 JVM 将运行相同的代码。其他任何事情都归结为内核和操作系统包。在任何公司中，他们的 Spark 集群几乎都是相同的操作系统，因为他们使用配置管理软件