探索数 GB 的 JSON 数据答案

【问题标题】：explore multiple GB of JSON data探索数 GB 的 JSON 数据
【发布时间】：2017-09-11 15:44:59
【问题描述】：

我有一个实时的 Firebase 应用，其数据库大小约为 5GB。 firebase 仪表板拒绝向我显示我的数据库的内容，并且每次都无法加载，大概是因为东西太大了。一段时间以来，我一直在寻找一些工具，让我能够提出我的数据的 ERD。帮忙？

Atom 崩溃，vim 永远不会加载任何东西，jq 只是吐出我的数据的格式化版本，我尝试了几个 java 工具来生成 JSON 模式，但它们在一段时间后崩溃了.. 大多数 python 程序做同样的事情甚至无法正常启动。

您将如何探索 5GB 的 json 数据？

【问题讨论】：

最好将数据分成更小的、独立的块。
很遗憾我做不到
如果 JSON 存储在一个文件中，例如包含一个包含数百万条目的数组或字典，那么编写一个将这个文件拆分为数十个文件的程序并不难，每个文件包含有效的 JSON，但只有一个数组或字典，每个包含 20,000 个条目。虽然你无法使用普通的 JSON 解析器来做到这一点。

【解决方案1】：

大多数文件编辑器都有分页，所以你的文件应该加载。除非它是一个单行文件。在这种情况下，您可以使用sed 或jq 重新格式化文件，以便多行。

完成该操作后，您应该可以打开它。
如果您需要提取数据，可以使用cat file.json | grep "what you need to extract"。
即使在单行 5gb 文件上也应该可以工作。

【讨论】：