使用 Python 获取大型 JSON 文件中的最后一个元素

Question

1. 我想获取 JSON 文件中的最后一个元素
2. 这个文件很大，所以我不想把它加载到内存中（使用json.loads）
3. 很高兴使用 ijson 或 jsonparser 之类的东西，但不知道如何使用这些解析器。

假设我的 JSON 文件如下所示：

{
"1000045901": "John",
"1000045902": "Ben"
}

我想编写 python 代码来帮助我获取最后一项 ("1000045902": "Ben") -- 包括它的键和它的值 -- 所有 没有将文件加载到内存中。

我最接近的方法是使用 ijson：

import ijson

key = '-'

with open('customerAccounts.json', 'rb') as file:
  for prefix, event, value in ijson.parse(file):
    if prefix == '' and event == 'end_map'
     print ([key, value][-1])

然而，我的输出返回 end_map 值，即None

Answer 1

应该这样做：

import ijson

with open('customerAccounts.json', 'rb') as file:
  for key, value in ijson.kvitems(file, ''):
    pass
  print(key, value)

key 和 value 是迭代过程中的最后一个值。还有其他方法可以可能更快地从迭代中获取最新值（例如，使用大小为 1 的双端队列），但应该这样做。

Answer 2

我希望这会有所帮助

with open('output.txt', 'r') as f:
    print(f.read().splitlines()[-2])

这样你就不会浪费时间来解析 json。得到最后一行后，您可以解析您的数据。如果我在这里展示它：

{
"1000045901": "John",
"1000045941": "Johns",
"1000045921": "Johnsd", # => -3
"1000045902": "Ben" # => -2
} # => -1

信用：Same question