如何在 Windows 机器上设置 Spark 集群？答案

【问题标题】：How to set up Spark cluster on Windows machines?如何在 Windows 机器上设置 Spark 集群？
【发布时间】：2013-07-02 04:21:11
【问题描述】：

我正在尝试在 Windows 机器上设置 Spark 集群。
这里的方法是使用独立模式，对吗？
不使用 Mesos 或 YARN 的具体缺点是什么？使用其中任何一种会有多痛苦？有人在这里有经验吗？

【问题讨论】：

标签： apache-spark cluster-computing bigdata hadoop-yarn mesos

【解决方案1】：

仅供参考，我在用户组中得到了答案：https://groups.google.com/forum/#!topic/spark-users/SyBJhQXBqIs

独立模式确实是要走的路。 Mesos 不能在 Windows 和 YARN 下工作。

【讨论】：

【解决方案2】：

请注意，YARN 最终应该可以通过 Hortonworks 数据平台在 Windows 上运行（2.0 测试版在 YARN 上，但目前仅在 Linux 上）。另一个可能的途径是让它在 Hadoop 1.1（Windows 1.1 的 Hortonworks 数据平台）上运行 - 但让它在独立模式下运行的方法绝对是最容易上手的。

【讨论】：