如何在 aws ec2 免费层帐户上免费安装 apache spark [关闭]答案

【问题标题】：how to install apache spark on a aws ec2 free tier account cost free [closed]如何在 aws ec2 免费层帐户上免费安装 apache spark [关闭]
【发布时间】：2015-10-30 07:11:21
【问题描述】：

我正在跟踪此tutorial 在我的 aws 免费层帐户上测试 apache spark。但是它会创建 2 个新实例（1x 主实例和 1x 从属实例），这意味着我整个月都无法运行我的机器......

问题：有没有办法可以在一台机器上安装 apache spark？

谢谢

【问题讨论】：

标签： amazon-web-services amazon-ec2 apache-spark

【解决方案1】：

如果您只是测试 Spark，您实际上不需要“安装”spark。我在本地模式下运行的本地 VM 中进行所有 Spark 开发，但您可以通过以下步骤在 AWS 中执行相同的操作：

下载 Spark：http://spark.apache.org/downloads.html 我通常选择“为 Hadoop 2.6 及更高版本预构建”（不用担心，您根本不需要 Hadoop）
scp tar 到你的机器，解压到 /opt 或 /usr/share 之类的地方
就是这样！

您可以运行 spark shell：

/opt/spark-1.4.1-bin-hadoop2.6/bin/spark-shell

您可以在本地模式下运行打包的 Spark 应用程序：

/opt/spark-1.4.1-bin-hadoop2.6/bin/spark-submit --master local[*] --class com.example.project.class project-1.0.jar

你可以启动 Spark：

/opt/spark-1.4.1-bin-hadoop2.6/sbin/start-all.sh

然后在端口 8080 处访问 Spark UI

【讨论】：

感谢 kruthar，我想将它安装在 aws 上进行演示
对不起，我没有说清楚，这些步骤在 AWS 机器上同样有效。
感谢@kruthar，我试过了，但我在 java.lang.ClassLoader.loadClass(ClassLoader.java:358) 处无法启动 org.apache.spark.deploy.master.Master:

【解决方案2】：

解决方案很简单...按照说明将 apache spark 设置为独立服务器 link

【讨论】：