Pyspark - Groupby 并收集多列列表并创建多列

Question

我有以下数据框，我正在尝试对其进行分组和聚合数据。

Column_1 Column_2 Column_3
A        N1       P1
A        N2       P2
A        N3       P3
B        N1       P1
C        N1       P1
C        N2       P2

所需输出：

Column_1 Column_2 Column_3
A        N1,N2,N3 P1,P2,P3
B        N1       P1
C        N1,N2    P1,P2

我可以通过使用 partition 和 groupby 创建一个窗口来处理一列。 然后我在窗口上使用收集列表和分组并聚合以获取一列。这适用于一列。

如何在 2 列中执行相同的操作。请帮忙

Answer 1

group by 的agg 函数可以采用多个聚合函数。可以加两次collect_list：

df.groupby('Column_1').agg(F.collect_list('Column_2'), F.collect_list('Column_3')).orderBy('Column_1').show()

打印

+--------+----------------------+----------------------+
|Column_1|collect_list(Column_2)|collect_list(Column_3)|
+--------+----------------------+----------------------+
|       A|          [N1, N2, N3]|          [P1, P2, P3]|
|       B|                  [N1]|                  [P1]|
|       C|              [N1, N2]|              [P1, P2]|
+--------+----------------------+----------------------+

对于简单的分组，不需要使用Window。