从现有的 arraytype 列创建单独的 Spark 数据框答案

【问题标题】：Creating Separate Spark dataframe from existing arraytype column从现有的 arraytype 列创建单独的 Spark 数据框
【发布时间】：2020-08-26 00:50:21
【问题描述】：

我有一个 spark 数据框

有架构

StructType(structField("a",IntegerType,False),structField("b",IntegerType,False),structField("c",ArrayType(structType(structField("d",IntegerType,False),structField("e",IntegerType,False)))

我想从数组类型的列“c”创建一个单独的数据框。

所需的输出格式是

【问题讨论】：

查看分解功能:)
@GamingFelix 感谢您的帮助。 Explode 不会动态创建单独的列。你能帮我用你所指的确切语法吗，你可以在数组中有n个列。
嗨！这对stackoverflow.com/questions/51609740/… 有帮助吗？

标签： scala apache-spark

【解决方案1】：

试试这个-

df.selectExpr("a", "b", "inline_outer(c)").show()

【讨论】：

哇。这真的很有用。