今天跑一个任务, 在spark history Web UI中,sortByKey会触发一个job

Spark中 sortByKey被划分到transformation中,却有action操作原因

???sortByKey不是transform吗?

原因: Spark的sortBy,sortByKey会触发一个新的任务,这个Job是用于评估数据分布,评估结果用于后续的排序操作,并不是真正的排序操作。
Spark中 sortByKey被划分到transformation中,却有action操作原因

相关文章:

  • 2022-12-23
  • 2021-08-30
  • 2021-11-10
  • 2021-05-25
  • 2021-10-03
  • 2021-04-18
  • 2021-11-27
猜你喜欢
  • 2021-04-07
  • 2021-06-09
  • 2021-05-18
  • 2021-11-07
  • 2021-12-29
  • 2021-12-13
  • 2022-12-23
相关资源
相似解决方案