从 DataFrame 中按分区收集集合

Question

我有按列分区的 DataFrame：

val dfDL = spark.read.option("delimiter", ",")
                     .option("header", true)
                     .csv(file.getPath.toUri.getPath)
                     .repartition(col("column_to"))

val structure =  "schema_from" ::
                 "table_from"  ::
                 "column_from" ::
                 "link_type"   ::
                 "schema_to"   ::
                 "table_to"    ::
                 "column_to"   :: Nil

如何按分区获取数组集合？ 也就是说，对于每个分区，我都需要一个集合。 比如我需要这个方法：

def getArrays(df: DataFrame): Iterator[Array] = { //Or Iterator[List]
   ???
}

分区的所有值：

val allTargetCol = df.select(col("column_to")).distinct().collect().map(_.getString(0))

Answer 1

如果你知道分区值，你可以遍历每个分区值，调用过滤器然后收集。

伪代码

partitions = []

for partition_value in partition_values_list:
  partitions.append(df.filter(f.col('partiton_column') == partition_value).collect())

否则，您需要先制作不同分区值的列表/数组，然后重复上述步骤。