有时用Spark 运行Job 的时候,输出可能会出现一些空或者小内容。这时重新将输出的Partition 进行重新调整,可以减少RDD中Patition的数目。
两种方式:
1. coalesce(numPartitions:Int, shuffle:Boolean = false)
2. repartition(numPartitions:Int)

 

相关文章:

  • 2021-10-31
  • 2021-11-22
  • 2021-11-22
  • 2021-12-05
  • 2022-12-23
  • 2022-12-23
  • 2021-11-22
  • 2021-11-22
猜你喜欢
  • 2021-08-20
  • 2021-11-22
  • 2021-11-22
  • 2021-07-01
  • 2021-08-20
  • 2021-06-10
相关资源
相似解决方案