在 Windows 8.1 上启动集群时无法识别 spark-ec2答案

【问题标题】：spark-ec2 not recognized when lauching cluster on windows 8.1在 Windows 8.1 上启动集群时无法识别 spark-ec2
【发布时间】：2015-08-19 20:31:11
【问题描述】：

我是 spark 的初学者。我正在尝试在 Amazon EC2 上运行 spark，但我的系统无法识别“spark-ec2”或“./spark-ec2”。它说“spark-ec2”未被识别为内部或外部命令。

我按照指令here 启动了一个集群。我想使用 Scala，如何使它工作？

【问题讨论】：

【解决方案1】：

使用 boto 添加 PYTHON PATH 环境变量。 PYTHONPATH="${SPARK_EC2_DIR}/third_party/boto-2.4.1.zip/boto-2.4.1:$PYTHONPATH" 并执行python脚本

【讨论】：

感谢您的回复。如果我需要使用 Scala，这会起作用吗？
我不确定您是否可以使用 scala 启动 spark-ec2 集群。我总是使用 spark-ec2 脚本来启动集群。
PATHONPATH 未被识别为内部或外部命令
将这些行添加到 spark-ec2.py python 脚本的顶部。 import sys sys.path.append("/your/spark/directory/thirdparty/boto-2.4.1.zip/boto-2.4.1")

【解决方案2】：

为了在 Windows 上运行 Spark-EC2 脚本，您需要 Cygwin 和 Python。如果不想安装这些程序，可以使用脚本的 dockerized 版本（https://github.com/edrevo/spark-ec2-docker），它只依赖于 Docker。

【讨论】：