如何在 Java 中序列化 apache spark 的 MatrixFactorizationModel答案

【问题标题】：How to serialize apache spark's MatrixFactorizationModel in Java如何在 Java 中序列化 apache spark 的 MatrixFactorizationModel
【发布时间】：2015-11-09 23:39:20
【问题描述】：

我正在使用 Apache Spark MLlib 和 Java 构建推荐系统。构建 MatrixFactorizationModel 后，我将其序列化为 java 对象，在检索模型时，出现以下异常。

引起：java.lang.ClassNotFoundException： org.apache.spark.OneToOneDependency 找不到 org.scala-lang.scala-library_2.10.4.v20140209-180020-VFINAL-b66a39653b

知道如何解决这个问题吗？

【问题讨论】：

您使用的是哪个版本的 spark？
我使用的是 spark 1.4.0
你的依赖是什么版本的scala？
依赖中使用了scala 2.10.4

标签： java serialization apache-spark apache-spark-mllib collaborative-filtering

【解决方案1】：

您正在使用不兼容的 scala 和 spark 版本。 Spark 1.4.0 需要 scala version 2.11.6 但使用的是 scala 版本 2.10.4（来自您的错误堆栈）。

PS：你可以在here找到兼容的版本

【讨论】：