从 Spark 数据帧中的结构数组中过滤出空值结构

Question

我在一个数据框中有一个 col，它是一个结构数组。我想过滤掉一些带有所有空值的结构。例如使用以下数据框：

+—————+————————————————---------------------—+
|advertiser      |brands                     |
+—————+—————————————---------------------————+
Advertiser1      [{"id" : "a", "type" : "b", "name" : "c"}]
Advertiser2      [{"id" : null, "type" : null, "name" : null}]
+—————+————————————---------------------—————+

我想过滤掉具有空值的结构以获得：

+—————+———————————————---------------------——+
|advertiser      |brands                     |
+—————+————————————---------------------—————+
Advertiser1      [{"id" : "a", "type" : "b", "name" : "c"}]
Advertiser2      []
+—————+—————————————---------------------————+

如果我能想出一个空值结构，我想这就是这样的事情：

.withColumn(
    "brands",
    when(
        col("brands").equalTo(*emptyStruct?*),
            null
    )
)

Answer 1

您想要过滤数组元素。从 Spark 3.0 开始，org.apache.spark.sql.functions 中有一个带有签名的方法：

filter(column: Column, f: Column => Column): Column

为你做这件事：

df.select(
  col("advertiser"),
  filter(col("brands"),
         b =>
           b.getField("id").isNotNull
             && b.getField("type").isNotNull
             && b.getField("name").isNotNull) as "brands"

使用 Spark 1.6+，您可以分解数组，过滤结构，然后按 advertiser 分组：

df.select(col("advertiser"), explode(col("brands")) as "b").
  filter(
    col("b.id").isNotNull &&
      col("b.type").isNotNull &&
      col("b.name").isNotNull)
  .groupBy("advertiser").agg(collect_list("b") as "brands")

Answer 2

您可以尝试使用 to_json 函数，所有 null 值的品牌将返回 [{}]。