如何将火花数据帧反序列化为另一个数据帧[重复]

Question

我正在尝试将 spark 数据帧反序列化为另一个数据帧，如下所示。

现有数据框数据：

现有数据框架构：

预期的数据框：

谁能帮我解决这个问题？

Answer 1

您可以为此使用explode 函数。

from pyspark.sql.functions import explode 
df.withColumn("ns2:fileName", explode(df.ns2:fileName))

编辑

df.withColumn("result", explode(zip($"ns2:fileName", $"ns2:alias"))).select(
   $"result._1".alias("ns2:fileName"), $"result._2".alias("ns2:alias"))

可能duplicate。