有没有一种在非常大的文件中搜索字典的有效方法？

Question

我有一个非常大 (> 10GB) 的 JSON 文件，其中包含多个字典。

现在，我有一些其他词典的列表。

假设我希望在这个文件中找到字典，它匹配列表中字典的两个键的值，并最终从这些字典中提取第三个键的值。我该怎么做呢？

目前，这是我的想法：

def parse(file):
    for l in file:
        yield eval(l)

# list_of_dicts is the list containing the dictionaries

for i in range(0,len(list_of_dicts)):
    generator_of_dicts = parse("huge_file.json")
    for j in generator_of_dicts:
        if j[key1] == list_of_dicts[i][key1] \
        and j[key2] == list_of_dicts[i][key2]:
            print j[key3]
            break

有更好的方法吗？

Answer 1

我可能会为 python https://pypi.python.org/pypi/jq 使用 jq 绑定 这是对 JSON 进行查询的好工具。

不然python的JSON库就好了。

但是：10 Gb 很多 - 如果您没有 RAM，则需要流式传输到 jq 可能非常方便。