使用来自 spark scala 的 python scipy答案

【问题标题】：Using python scipy from spark scala使用来自 spark scala 的 python scipy
【发布时间】：2017-03-15 05:21:19
【问题描述】：

是否可以从 spark/scala 脚本中使用 python“scipy”线性代数库？

我需要使用“scipy”库中丰富的稀疏函数，但我的项目已经在 scala 中了

【问题讨论】：

不太可能。 scipy 代码是用 Python 编写的，大量使用了 numpy。 numpy 有很多编译代码。 scipy.sparse 也是如此。一些线性代数的东西使用外部编译库，其他代码可以使用。但这是一个 c/c++/Fortran 任务。
也许使用 pyspark 作为那部分？
我认为 Breeze 是 Scala 的线性代数包

标签： python scala apache-spark scipy

【解决方案1】：

如果你想利用spark的并发计算优势，我认为不可能使用scipy，因为scipy不是为spark设计的。

如果你只想在本地机器上使用 scala 脚本，你可以试试java-python-integration。或者您可以在 Java 中使用 scipy-like lib。

【讨论】：

【解决方案2】：

使用 Scala 的 SciPy 是不可行的，因为 Python 不是 JVM 语言，但似乎有 ways。在纯 Scala 中最接近的可能是使用 Scalanlp-Breeze。您可以查看他们的Comparison with Matlab and Numpy。他们是一个SparseMatrix 数据结构，你应该看看。

如果您想获得完整的性能，请确保正确安装本机库。

【讨论】：