今天跑一个任务, 在spark history Web UI中,sortByKey会触发一个job ???sortByKey不是transform吗? 原因: Spark的sortBy,sortByKey会触发一个新的任务,这个Job是用于评估数据分布,评估结果用于后续的排序操作,并不是真正的排序操作。 相关文章: 2022-12-23 2021-08-30 2021-11-10 2021-05-25 2021-10-03 2021-04-18 2021-11-27