Spark JavaRDD泛型参数必须是可序列化的？

【问题标题】：Spark JavaRDD generic parameters must be serializable?Spark JavaRDD泛型参数必须是可序列化的？
【发布时间】：2015-12-28 07:33:59
【问题描述】：

如果我使用自定义对象创建JavaRDD（例如：类foo）JavaRDD，类foo是否必须实现序列化接口才能在集群上运行？

【问题讨论】：

【解决方案1】：

如果您正在寻找确认，您的查询的简单答案是YES。

看看这个article

所有对象都必须是可序列化的，才能在 Spark 中用作 RDD 操作的一部分

但是，如果您遵循上述文章，您可以击败 Serializaiton。

看看这个相关的SE question 和 Spark 调优article

【讨论】：