Spark 可以将数据直接读取到嵌套的案例类中吗？

Question

假设您有一个包含三列的 CSV：item、username 和 userid。使用 Spark 的 Dataset API 读取这个内容是一件相当简单的事情：

case class Flat(item: String, username: String, userid: String)
ds = sparkSession.read.csv("path/to/data").toDF("item", "username", "userid").as[Flat]

那么ds 将是Dataset[Flat] 类型。

但是假设您希望您的数据具有Dataset[Nested] 的形式，其中Nested 由下式给出：

case class User(name: String, id: String)
case class Nested(item: String, user: User)

一种方法是将数据读入Dataset[Flat]，然后应用map 将其转换为Dataset[Nested]，但实际上Flat 案例类通常不需要任何东西否则，它会使代码不必要地冗长。有没有什么办法可以跳过中间人直接构造一个Dataset[Nested]？

Answer 1

有没有什么办法可以跳过中间人，直接构造Dataset[Nested]？

没有 - Datasets 按结构和名称匹配。您不能只拥有名称，并且必须重新塑造数据。

如果您喜欢跳过 Flat 定义，只需使用动态 API

import org.apache.spark.sql.functions._

ds.select($"item", struct($"name", $"id") as "user").as[Nested]

as[Flat] 并没有真正输入检查，所以你不会丢失任何东西。