在工作节点上并行排序 PySpark 数据帧

Question

我的主节点上有一个分布式 spark 数据帧列表，我想在单独的工作节点（我的 spark 集群包含 4 个节点）上并行地对它们中的每一个进行排序。是否可以使用 map() 或 flatMap()？或者别的什么。谢谢。

Answer 1

您可以使用sortWithinPartitions 方法为每个分区并行排序数据。每个工人都有自己的分区数据。

根据我对 1000000 个随机编号列表的经验。 sortWithinPartitions 将性能提升 2 倍。

//Create a list with size 1000000 of random nos.
      spark.sparkContext.parallelize(for (i <- 1 to 1000000) yield  r.nextInt(1000000) )
        .toDF // Convert to dataframe with single column 'value'
        .sortWithinPartitions(col("value"))  // Sort the partition in parallel i.e. similair to sortin data on each worker
        .sort(col("value"))                  // Final sort on complete data set
        .map(r=>r.getInt(0)).collectAsList().toSeq // Collecting the result in list