Apache Spark - MLlib - 矩阵乘法答案

【问题标题】：Apache Spark - MLlib - Matrix multiplicationApache Spark - MLlib - 矩阵乘法
【发布时间】：2016-10-28 06:01:10
【问题描述】：

我正在尝试使用 MLlib 来解决矩阵乘法问题。

我知道 Spark MLLib 使用本地库，这些库需要存在于节点上。（它不附带火花安装）。

所以我已经在所有节点上安装了 libgfortran 库（我做了同样的 Apache Spark -- MlLib -- Collaborative filtering)

但是我在集群上运行时仍然遇到这个错误。

Lost task 0.3 in stage 2.0 (TID 11, ibm-power-6.dima.tu-berlin.de): java.lang.UnsatisfiedLinkError: org.jblas.NativeBlas.dgemm(CCIIID[DII[DIID[DII)V
    at org.jblas.NativeBlas.dgemm(Native Method)
    at org.jblas.SimpleBlas.gemm(SimpleBlas.java:247)
    .....

我该如何解决这个错误？

【问题讨论】：

您是否将 jblas 库添加到 Spark 类路径中？

标签： apache-spark linear-algebra apache-spark-mllib jblas

【解决方案1】：

Spark 有一段时间没有使用jblas；据我目前所知，不是从一年多前发布的 1.4.0 开始。您链接到 Spark 0.9.0 文档链接的答案，这绝对是古老的。所以最简单的解决方案似乎是使用更新版本的 Spark。

如果这是不可能的，或者如果您遇到必须再次使用 jblas 的情况：看起来您正在使用 IBM PowerLinux 硬件。支持此平台was added to jblas in version 1.2.4，因此您必须确保至少使用该版本。

【讨论】：