在 python 中快速生成一个大的 json 文件

Question

我有一个大约 5 GB 的多 json 文件，我对它进行了一些探索性数据分析。问题是每次我加载文件时，使用这段代码大约需要 1 分钟的时间来加载它：

with open(json_fn, 'r') as f:   # multiple jsons in one file! (one per line)
   for line in f:
       data = json.loads(line)

有没有更有效的方法来存储这些数据以便在 python 中加载？我在考虑泡菜（因为它是一种通常更快的二进制格式）但是it seems to be even slower。有什么建议可以用来避免每次等待 1 分钟吗？

Answer 1

您可以为此目的使用ijson。 ijson 允许以流的形式懒惰地读取文件。

import ijson

json_data = ijson.parse(open(FILE_PATH, 'r'))

for prefix, event, value in json_data:
    print(value)

请参考this。

注意：借助post 中提到的后端，您可以大大提高性能。