如何在 Spark 中读取具有嵌套字段的值？ [复制]

Question

我拥有的数据集充满了嵌套字段。例如data.take(1) 的输出有 9 列，其中第 4 列 (c4) 有 3 个子字段，而 c4 的第 1 列有 3 个子字段，依此类推。

格式有点像这样

[A,B,C,[[d1,d2,d3],D2,D3],E,[F1,[f1,[f21,f22,f23],f3,f4],F3,F4],G,H,I]

我想要一个数组数据结构的数组（然后可以展开为单个数组）。

只是为了让数据看起来更清晰：

A
B
C
D
  -D1
    -d1
    -d2
    -d3
  -D2
  -D3
E
F
  -F1
  -F2
    -f1
    -f2
      -f21
      -f22
      -f23
    -f3
    -f4
  -F3
  -F4
G
H
I

当然，我可以编写一个解析程序，它会递归地搜索给定记录的子字段并生成此树结构（作为数组的数组）。不过，我希望 Spark 中有一个更简单、更高效的预构建例程，可以直接处理这个问题。

我们将不胜感激 Spark-Scala 或 PySpark 中的任何答案。

Answer 1

如果您已经使用 spark 将数据帧/数据集加载到内存中，那么有两种方法可以帮助您。试试df.printSchema() 和df.schema，其中df 是一个引用您的数据集的变量。第一个将在屏幕上打印带有数据类型的架构，第二个将返回您的代码可以遍历的 StructType 对象。

更新：

所以现在你想方便地选择嵌套字段。

假设您有以下代码：

import org.apache.spark.sql.SparkSession

object Question51360175 extends App{
    val session = SparkSession.builder()
      .appName("spark-app").master("local[*]").getOrCreate()

    import session.implicits._

    case class TopLevel(someField: String, nestedLevel: NestedLevel)
    case class NestedLevel(key: Int, value: String)



    val df = Seq(
      TopLevel("first", NestedLevel(1, "Onnu")),
      TopLevel("second", NestedLevel(2, "Rendu"))
    ).toDF

    df.printSchema()

  df.show()
}

这会给你这种输出

root
 |-- someField: string (nullable = true)
 |-- nestedLevel: struct (nullable = true)
 |    |-- key: integer (nullable = false)
 |    |-- value: string (nullable = true)

+---------+-----------+
|someField|nestedLevel|
+---------+-----------+
|    first|  [1, Onnu]|
|   second| [2, Rendu]|
+---------+-----------+

现在，如果您想获得嵌套列，例如，您只需要嵌套类 NestedLevel 中的 value 列，您可以只写 df.select("nestedLevel.value").show() 这将返回您

+-----+
|value|
+-----+
| Onnu|
|Rendu|
+-----+