Pyspark Struct 列：爆炸后的奇怪行为

Question

我正在使用一个嵌套的 json 文件，该文件包含我需要分解的多个级别的数组。 我注意到我创建的列中的值在我分解一个与我想存储在所述列中的值相同级别的数组后发生了变化。这是一个可视化的示例：

jsonDF = jsonDF.withColumn("values_level1", explode("data.values"))
               .withColumn("name_level1", col("values_level1.name"))

直到这里一切都很好，列“name_level1”包含我想在稍后阶段过滤的某些值。当我继续时问题就开始了

.withColumn("values_level2", explode("values_level1.values"))

因为现在我在“name_level1”列中的值已经改变，我不再找到以后要过滤的值。

这是可以预期的，我只是在概念上还没有理解（我对 Spark 很陌生......）？我可以以某种方式“保留”“name_level1”中的原始值吗？

提前非常感谢！

编辑：我正在添加一张可能有助于理解我的问题的图片：

为什么当我分解“值”时“名称”会改变？

Answer 1

我与一位同事交谈，他提供了一个行之有效的解决方案。使用

.withColumn("values_level2", explode_outer("values_level1.values"))

在“name_level1”列中保留我需要的值