使用scala将json读入多个spark数据帧答案

【问题标题】：read json into multiple spark dataframes using scala使用scala将json读入多个spark数据帧
【发布时间】：2023-03-25 13:08:01
【问题描述】：

我的 json 结构是这样的：

{
  "posts": [],
  "persons": [],
  "organizations": [],
  "meta": {
    "sources": [
      "http://loksabha.nic.in/",
      "http://wikidata.org/",
      "http://gender-balance.org/"
    ]
  },
  "memberships": [],
  "events": [],
  "areas": []
}

我想将帖子读入数据框，我们的帖子是一个 json 对象数组。类似的其他 json 数组，除了“元”。 “元” json 对象中的“源”数组应读入另一个数据帧。

有没有办法用 spark scala 实现这一点。

非常感谢任何帮助。

提前致谢沙克蒂

【问题讨论】：

标签： json apache-spark dataframe

【解决方案1】：

您可以使用扩展功能。我猜你有类似的东西

val jsonDf = spark.read.json("your_json.json")
val postsDf = jsonDF.withColumn("post", explode(col("posts")).select("post")

【讨论】：