运行 mahout spark-itemsimilarity 时出现 NoClassDefFoundError答案

【问题标题】：NoClassDefFoundError when running mahout spark-itemsimilarity运行 mahout spark-itemsimilarity 时出现 NoClassDefFoundError
【发布时间】：2017-08-06 00:29:03
【问题描述】：

我是 mahout 的新手，想根据此页面 intro-coocurrence-spark 运行命令“mahout spark-itemsimilarity”。但是我收到以下错误，我用谷歌搜索了很多但仍然没有得到与此相关的信息？

./bin/mahout spark-itemsimilarity
Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf
    at java.lang.Class.getDeclaredMethods0(Native Method)
    at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
    at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
    at java.lang.Class.getMethod0(Class.java:3018)
    at java.lang.Class.getMethod(Class.java:1784)
    at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
    at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.SparkConf
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 7 more

我正在使用 Ubuntu 并设置 JAVA_HOME、MAHOUT_HOME、SPARK_HOME。我还应该做什么？

【问题讨论】：

忘了说我用的版本，mahout 0.12.2，Hadoop 2.7.3
您使用的是什么版本的 Spark？
这看起来像是一个 Spark 设置问题，因为 Spark 寻找的第一件事就是 SparkConf。您是否能够运行任何 Spark 演示应用程序或 Spark Scala shell？
spark 版本是 2.1.0。我还没有运行任何火花演示，我会做的。我在 mahout 文件夹中看到了一些 spark jar 文件，还需要 spark 吗？

标签： apache-spark mahout

【解决方案1】：

我在运行命令“mahout spark-itemsimilarity”后也遇到了这个错误。

我设法通过在 SPARK_HOME 指向的目录中恢复到 spark-1.6.3-bin-hadoop2.4 来消除此错误。

尝试这种方法的想法来自于阅读 Mahout 目录中 README.md 的“从源代码构建”部分，我以前没有阅读过，因为我使用预构建的 Mahout 二进制文件。

【讨论】：