Apache Spark Server 安装需要 Hadoop？没有自动安装？答案

【问题标题】：Apache Spark Server installation requires Hadoop? Not automatically installed?Apache Spark Server 安装需要 Hadoop？没有自动安装？
【发布时间】：2016-11-12 21:28:25
【问题描述】：

我的 Mac 上有我的开发环境。我在新安装的物理 Ubuntu 机器上有一个开发 Spark 服务器。

在我在 Mac 上运行的代码中，我有：

1   SparkConf conf = new SparkConf().setAppName("myapp").setMaster("spark://10.0.100.120:7077");
2   JavaSparkContext javaSparkContext = new JavaSparkContext(conf);
3   javaSparkContext.setLogLevel("WARN");
4   SQLContext sqlContext = new SQLContext(javaSparkContext);
5
6   // Restaurant Data
7   df = sqlContext.read().option("dateFormat", "yyyy-mm-dd").json(source.getLocalStorage());

1) 澄清问题：此代码在我的 mac 上运行，连接到服务器，但第 7 行假定文件在我的 mac 上，而不是在服务器上，对吗？

2) 在第 7 行，我得到一个异常：

16-07-10 22:20:04:143 DEBUG  - address: jgp-MacBook-Air.local/10.0.100.100 isLoopbackAddress: false, with host 10.0.100.100 jgp-MacBook-Air.local
16-07-10 22:20:04:240 INFO org.apache.spark.sql.execution.datasources.json.JSONRelation - Listing file:/Users/jgp/Documents/Data/restaurants-data.json on driver
16-07-10 22:20:04:288 DEBUG org.apache.hadoop.util.Shell - Failed to detect a valid hadoop home directory
java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set.
    at org.apache.hadoop.util.Shell.checkHadoopHome(Shell.java:225)
    at org.apache.hadoop.util.Shell.<clinit>(Shell.java:250)
    at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:76)
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.setInputPaths(FileInputFormat.java:447)
    at org.apache.spark.sql.execution.datasources.json.JSONRelation.org$apache$spark$sql$execution$datasources$json$JSONRelation$$createBaseRdd(JSONRelation.scala:98)
    at org.apache.spark.sql.execution.datasources.json.JSONRelation$$anonfun$4$$anonfun$apply$1.apply(JSONRelation.scala:115)
    at org.apache.spark.sql.execution.datasources.json.JSONRelation$$anonfun$4$$anonfun$apply$1.apply(JSONRelation.scala:115)
    at scala.Option.getOrElse(Option.scala:120)
    at org.apache.spark.sql.execution.datasources.json.JSONRelation$$anonfun$4.apply(JSONRelation.scala:115)
    at org.apache.spark.sql.execution.datasources.json.JSONRelation$$anonfun$4.apply(JSONRelation.scala:109)
    at scala.Option.getOrElse(Option.scala:120)

我必须在服务器上安装 HADOOP 吗？ - 我想从：

java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set.

【问题讨论】：

您下载了哪个版本的 Spark？通常 Spark 与 Hadoop 捆绑在一起，但您可能已经下载了一个没有它的工具。
我实际上是下载了捆绑的，并安装了，但我之前没有安装任何Hadoop。

标签： apache-spark

【解决方案1】：

这是一个非常古老的问题，事情已经发生了一些变化，所以这里有两种方法：

从https://github.com/jgperrin/net.jgp.books.spark.ch01 下载（或克隆）并运行一个超级基本的示例。
使用brew，如：
```
brew install apache-spark
```

【讨论】：