地图火花数据帧上的while循环

Question

我在使用 scala API 的 spark 中遇到了 ma​​pType 的问题 对于每个会话，我们都会发送一个地图，您可以在其中找到用户访问的类别与每个类别中的事件数量相关联

[ home & personal items > interior -> 1, vehicles > cars -> 1] 

并非所有用户访问的类别数量都相同，因此地图的大小会根据 user_id 发生变化

我需要计算按类别分组的会话数 为了做到这一点，我需要遍历地图，而它不是空的 我之前尝试过的事情

while (size(col("categoriesRaw")) !== 0) {
    df.select(
        explode(col("categoriesRaw"))
    )
    .select(
        col("key").alias("categ"),
        col("value").alias("number_of_events")
    )
}

但我遇到了一些错误，例如：

type mismatch;
 found   : org.apache.spark.sql.Column
 required: Booleansbt

Answer 1

我不确定你想用 while 循环做什么。无论如何，您可以使用 REPL 检查您用作条件的表达式是 Column 而不是 Boolean，因此是异常。

> size(col("categoriesRaw")) !== 0
res1: org.apache.spark.sql.Column = (NOT (size(categoriesRaw) = 0))

基本上，这是一个需要由 SparkSQL 在 where、select 或任何其他使用列的函数中计算的表达式。

尽管如此，您的 spark 代码已经快到了，您只需添加 groupBy 即可到达您想要的位置。让我们从创建数据开始。

import spark.implicits._
val users = Seq( "user 1" -> Map("home & personal items > interior" -> 1,
                                 "vehicles > cars" -> 1), 
                 "user 2" -> Map("vehicles > cars" -> 3)) 
val df = users.toDF("user", "categoriesRaw")

然后，您不需要 while 循环来遍历映射的所有值。 explode 正是为你做的：

val explodedDf = df.select( explode('categoriesRaw) )
explodedDf.show(false)

+--------------------------------+-----+
|key                             |value|
+--------------------------------+-----+
|home & personal items > interior|1    |        
|vehicles > cars                 |1    |
|vehicles > cars                 |3    |
+--------------------------------+-----+ 

最后，你可以使用 groupBy add 得到你想要的。

explodedDf
    .select('key as "categ", 'value as "number_of_events")
    .groupBy("categ")
    .agg(count('*), sum('number_of_events))
    .show(false)

+--------------------------------+--------+---------------------+
|categ                           |count(1)|sum(number_of_events)|
+--------------------------------+--------+---------------------+
|home & personal items > interior|1       |1                    |
|vehicles > cars                 |2       |4                    |
+--------------------------------+--------+---------------------+

注意：我不确定您是要计算会话（第一列）还是事件（第二列），所以我计算了两者。