【问题标题】:JSON Extraction to CSVJSON 提取到 CSV
【发布时间】:2012-09-17 14:52:52
【问题描述】:

我在一个大型 JSON 文件的每一行中有多个嵌套的数据项。

JSON 文件中的一行示例: {“Key1”:{“Key2”:”value2”},{“Key3”:{“Key4:”Value4”}}}}

文件大小将近 2GB,我需要将其转换为 CSV。

所以,这里有两个主要问题:

  1. 如何以 2d CSV 格式表示 n 维数据?
  2. 即使我想出了一种方法来表示 CSV 中的数据,我如何将其从 JSON 转换?

任何想法将不胜感激。

【问题讨论】:

  • json数据项可以递归嵌套吗?如果是这样,CSV 似乎不太合适,因为正如您所指出的,CSV 是 2d 格式。
  • 为什么需要在csv中?可能会对可能的解决方案有所了解。
  • 它需要是平面文件格式,我需要了解数据以便在 Cognos BI 中对其进行建模。

标签: python json csv


【解决方案1】:

1/ 这是个问题。这实际上取决于文件的结构。在这种情况下,您可以使用 3 列,例如

firstKey secondKey value
Key1     Key2      value2
Key3     Key4      value4

但这也可能非常不同

2/ 你需要一个流解析方法。很可能你的整个 json 结构不适合内存

【讨论】:

  • “流解析方法”这个词,是指Python之类的脚本吗?如果是这样,你能提供一些替代方案吗?可以用 C#/Visual Studio 编写吗?
  • 另外,您是否知道任何可以为此类脚本提供模板的在线资源?我正在寻找列出所有必需库并提供示例以引用我的 JSON 文件中的对象/项目的东西。
  • 没有。通过流式方法,我的意思是您不能一次解析所有 json,这意味着您将使用基于事件的解析器,其中所需的最小数据子集将同时在内存中。
猜你喜欢
  • 1970-01-01
  • 2020-02-24
  • 1970-01-01
  • 1970-01-01
  • 2021-08-07
  • 2020-11-30
  • 2018-05-20
  • 2018-11-21
  • 2021-11-29
相关资源
最近更新 更多