无法使用 Cygwin 在 Windows 上启动 Apache Spark答案

【问题标题】：Can't start Apache Spark on Windows using Cygwin无法使用 Cygwin 在 Windows 上启动 Apache Spark
【发布时间】：2016-01-02 02:49:57
【问题描述】：

如果这太琐碎了，我很抱歉，但我对 Spark 很陌生。我使用 Maven 从代码在 Windows 上构建了 Apache Spark。我使用 Cygwin 构建，它运行良好。现在我无法使用 sbin 目录中的命令 (./start-master.sh) 启动它。

我收到以下错误：无法启动 org.apache.spark.deploy.master.Master：

Error: Could not find or load main class org.apache.spark.launcher.Main
full log in /cygdrive/c/Spark/spark-1.5.1/sbin/../logs/spark-auser-org.apache.spark.deploy.master.Master-1.host

我知道它正在类路径中寻找 spark-launcher_2.10-1.5.1.jar，但我无法在脚本中确定它定义类路径或 lib 目录的位置。

【问题讨论】：

你使用的是 cygwin 的 JDK/JRE 吗？
@kostya ：Spark 将在 JVM 中运行。我也可以从 cygwin 访问 JRE。我正在运行 Java 1.7。
仅供参考，您也可以在 Windows 本身上启动 Spark 集群（例如 spark-class.cmd org.apache.spark.deploy.master.Master ++ spark-class.cmd org.apache .spark.deploy.worker.Worker spark://localhost:7077)
这应该是两个命令，++ 表示换行符。他们应该工作。
参与过上述基于评论的对话的人可以在答案中进行总结吗？谢谢。

标签： apache-spark

【解决方案1】：

您可以按照 Gimby 提到的 Building a Runnable Distribution 步骤进行操作，例如：

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn

正如 Patrick McGloin 提到的，您也可以在 Windows 本身上启动 Spark 集群，例如：

spark-class.cmd org.apache.spark.deploy.master.Master
spark-class.cmd org.apache.spark.deploy.worker.Worker spark://localhost:7077

您可以在Spark Standalone Mode 和How to set up Spark cluster on Windows machines? 阅读更多内容

最后，正如 OP 所提到的，（s）他能够构建一个可运行的发行版，该发行版在父目录中创建了一个新的 Custom-spark tar 文件。 (S)他把这个文件解压到不同的目录，进入 bin 子目录，然后就可以打开 scala-shell。

【讨论】：