案例类的瞬态字段在 Spark rdd 中变为空

Question

我有一个案例类，它接受 java 类 LinkedSparseMatrix（包 - no.uib.cipr.matrix.sparse）的实例作为 -

case class A(mat: LinkedSparseMatrix)

当我尝试将 List[LinkedSparseMatrix] 转换为 Spark RDD 时，它会抛出 TaskNotSerializableException。所以我将该字段声明为瞬态。但是随后所有的 mat 字段都变为 null，我认为这是由于定义为瞬态的对象的默认值。

所以，我尝试将变量定义为惰性，从而将我的类更改为 -

class A (m: LinkedSparseMatrix) extends Serializable {
    @transient lazy val mat = m
    // some other code
}

但现在，我仍然收到 - java.io.NotSerializableException: no.uib.cipr.matrix.sparse.LinkedSparseMatrix - 我不明白为什么！

有什么解决办法吗？提前致谢。

Answer 1

您可以启用 Kryo 序列化而不是默认的 Java 序列化。 Kryo 可以在不实现java.io.Serializable 的情况下序列化对象。