如何对 spark.dataframe 中的分组数据进行编码？

Question

我在 spark.dataframe A 中有类似的数据：

Ben       1
Ben       2
Ben       4
Ben       3
Jerry     2
Jerry     2
Jane      3
Jane      5
James     1
James     1

我们的 Action_id 范围是 1-5。 我们想像这样得到 spark.dataframe B：

Name     Action_id=1    Action_id=2   Action_id=3  Action_id=4  Action_id=5
Ben          1              1            1               1            0
Jane         0              0            1               0            1
Jerry        0              2            0               0            0            
James        2              0            0               0            0

例如，(Ben,Action_id=1) 中的 '1' 表示在前一个数据帧中，Ben 执行了一次动作 1。

如何将数据帧 A 转换为数据帧 B？

Answer 1

您正在寻找使用 Count 聚合的 PivotTable：

在 Scala 中：

import org.apache.spark.sql.{functions => F}

val df = Seq(("Ben", 1),
("Ben", 2),
("Ben", 4),
("Ben", 3),
("Jerry", 2),
("Jerry", 2),
("Jane", 3),
("Jane", 5),
("James", 1),
("James", 1)).toDF("Name", "Action_id")

df.groupBy("Name").pivot("Action_id").agg(F.count("Action_id")).na.fill(0).show

我现在无法访问 pyspark shell，但这应该是这样的：

import pyspark.sql.functions as F

(df
    .groupby(df.Name)
    .pivot("Action_id")
    .agg(F.count("Action_id"))
    .na.fill(0)
    .show())