Spark 不会从 netlib 加载 ARPACK 或 BLAS答案

【问题标题】：Spark does not load ARPACK or BLAS from netlibSpark 不会从 netlib 加载 ARPACK 或 BLAS
【发布时间】：2015-12-31 20:12:15
【问题描述】：

我正在为我的数据计算 SVD。但是每当我使用spark-submit 提交 Spark 应用程序时，日志文件都会显示：

WARN ARPACK/BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemARPACK/BLAS

我使用 -Pnetlib-lgpl 标志构建了 Spark，并且在创建 jar 文件时还在我的 sbt 文件中包含了 netlib 依赖项：

libraryDependencies ++= Seq(
    "org.apache.spark"  % "spark-core_2.10"              % "1.5.0" % "provided",
    "org.apache.spark"  % "spark-mllib_2.10"             % "1.3.0",
    "com.github.fommil.netlib"  %   "all"   %   "1.1.2"     pomOnly()
)

GCC 和 Gfortran 版本是 gcc version 4.8.0 (GCC)。我还安装了 BLAS、LAPACK 和 ATLAS，并按照 netlib 站点上的说明进行操作：https://github.com/fommil/netlib-java

在spark-shell 中，当我导入为import com.github.fommil.netlib._ 时，没有任何迹象表明它没有被导入。

我已经尝试调试此问题一段时间了，但我没有想法。有人好心帮我解决这个问题。

【问题讨论】：

标签： apache-spark apache-spark-mllib apache-spark-ml

【解决方案1】：

这是一个已知的痛点。

我已成功按照 @https://github.com/PasaLab/marlin/issues/1 的说明让这个可怕的东西在带有英特尔 MKL 的 Spark 1.4.x / 1.5.x 中工作

我认为大约有一个地方您需要调整这些指令以与 ATALAS 链接，但这应该是可行的。

【讨论】：