Spark运行Liblinear无法加载JBLAS jar答案

【问题标题】：Spark running Liblinear unable to load JBLAS jarSpark运行Liblinear无法加载JBLAS jar
【发布时间】：2015-07-14 17:25:45
【问题描述】：

我正在运行 spark 1.4.0、hadoop 2.7.0 和 JDK 7。我正在尝试运行 Liblinear 提供的示例代码 here.

liblinear jar 可以工作，但是在训练模型时找不到 JBLAS 库。我尝试在启动 spark 时在 --jars 选项中包含一个 JBLAS 库，以及使用 maven 安装 jar（尽管我必须添加我是 spark 和 maven 的新手，所以我可能做错了）。

具体抛出的错误是这样的：

    java.lang.NoClassDefFoundError: org/jblas/DoubleMatrix
    at tw.edu.ntu.csie.liblinear.Tron.tron(Tron.scala:323)
    at tw.edu.ntu.csie.liblinear.SparkLiblinear$.tw$edu$ntu$csie$liblinear$SparkLiblinear$$train_one(SparkLiblinear.scala:32)`

运行此行时：

    val model = SparkLiblinear.train(data, "-s 0 -c 1.0 -e 1e-2")`

谢谢。

【问题讨论】：

SparkLiblinear 不是 Spark 包！您应该询问库的提供者，他们可能已经添加了抽象级别以简化 Spark 的使用。这不是 Stackoverflow 可以回答的问题。

标签： scala maven jar apache-spark liblinear

【解决方案1】：

java.lang.NoClassDefFoundError: org/jblas/DoubleMatrix

看来你没有添加jblas jar。解决方案可能是：

$ export SPARK_CLASSPATH=$SPARK_CLASSPATH:/path/to/jblas-1.2.3.jar

之后，它会正常工作。

希望这会有所帮助，

乐国岛

【讨论】：