sparkcontext无法被序列化的问题,当我们在使用RDD调用map等算子,或者Dstream使用transform时,我们需要在它们的重写的方法里面,需要利用sparkcontext 比如把一个集合转化为RDD,但是一运行就报java.io.NotSerializableException: org.apache.spark.api.java.JavaSparkContext(sparkcontext序列化异常)

java.io.NotSerializableException: org.apache.spark.api.java.JavaSparkContext,sparkcontext无法被序列化的问题

因为它是不能序列化的,这时候我们可以使用static来修饰:

java.io.NotSerializableException: org.apache.spark.api.java.JavaSparkContext,sparkcontext无法被序列化的问题

设置一个全局变量,用static来修饰就可以了

public static JavaSparkContext sparkContext = null;

相关文章:

  • 2021-11-12
  • 2021-06-25
  • 2021-06-04
  • 2021-07-18
  • 2021-11-11
  • 2021-12-15
  • 2021-08-06
  • 2021-12-18
猜你喜欢
  • 2021-07-11
  • 2022-12-23
  • 2021-09-06
  • 2021-12-02
  • 2021-07-31
  • 2022-01-18
  • 2021-09-28
相关资源
相似解决方案