尝试使用 spark shell 计算本地 HDFS 上托管的文件中的行数时出现 HadoopRDD 错误

Question

我是 Apache Spark、Scala 和 Hadoop 工具的新手。

我已经设置了一个新的本地单节点 Hadoop 集群，如 here 所提到的，并且还设置了 spark 以提供对该 Hadoop 环境的引用，如 here 所提到的。

我能够验证 spark-shell、spark UI 是否已启动并正在运行。另外，我可以使用localhost 查看 HDFS。

为了更进一步，我将一个示例文件上传到 HDFS，并使用 Hadoop localhost 验证它是否可用。

现在，我尝试使用 Java 和 spark-shell (Scala) 计算文件中的行数，但两次调用都因堆栈跟踪而失败。

Exception in thread "dag-scheduler-event-loop" java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/InputSplitWithLocationInfo
at org.apache.spark.rdd.HadoopRDD.getPreferredLocations(HadoopRDD.scala:329)
at org.apache.spark.rdd.RDD$$anonfun$preferredLocations$2.apply(RDD.scala:274)
at org.apache.spark.rdd.RDD$$anonfun$preferredLocations$2.apply(RDD.scala:274)
at scala.Option.getOrElse(Option.scala:121)
at org.apache.spark.rdd.RDD.preferredLocations(RDD.scala:273)
... removed ...

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.mapred.InputSplitWithLocationInfo
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 32 more

Java 代码（我使用 spark-submit 指定包含此代码的 jar）

public static void main(final String... args) {
SparkConf conf = new SparkConf().setAppName("hello spark");

JavaSparkContext ctx = new JavaSparkContext(conf);

JavaRDD<String> textload = ctx.textFile("README.md" );

System.out.println(textload.count());
}

pom.xml 依赖项

<dependencies>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.2.1</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.4.0</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapred</artifactId>
    <version>0.22.0</version>
</dependency>


</dependencies>

通过 spark-shell 在命令行上的 Scala 代码

sc.textFile("README.md").count

版本详情
Hadoop 2.4.0
斯卡拉 2.11.8
Java 1.8
Apache Spark 2.2.1

我在这里错过了什么？

Answer 1

我是 Apache Spark、Scala 和 Hadoop 的新手

那么您应该使用每个版本的最新、稳定版本。对于初学者，请下载包含 Hadoop 的最新 Spark。

hadoop-mapred 是一个已弃用的包，您不应使用两个不同版本的 Hadoop 库。这就解释了为什么你会得到 ClassNotFoundException

如果您从第二个链接下载了 Spark，它包含的 Hadoop 版本高于 2.4，并且这些库包含在 Spark 类路径中，因此您无论如何都不应该将它们添加到您的 POM 中。找到Java quickstart POM

我还要指出，在尝试针对 HDFS 运行 Spark 之前，您实际上应该让 HDFS 正常工作（假设您需要使用 Hadoop 而不是独立的 Spark）。

但是你根本不需要 Hadoop 从 Spark shell 运行 spark.textFile("README.md" ).count