在 python 中导入错误连接的 JSON

Question

我有一个包含数千个 jsons 字符串的文本文档，格式为："{...}{...}{...}"。这不是它自己的有效 json，但每个 {...} 都是。

我目前使用以下正则表达式来拆分它们：

fp = open('my_file.txt', 'r')
raw_dataset = (re.sub('}{', '}\n{', fp.read())).split('\n')

这基本上打破了花括号关闭和其他打开的每一行 (}{ -> }\n{)，因此我可以将它们分成不同的行。

问题是它们中很少有人有写成"{tagName1}{tagName2}" 的tags 属性，这会破坏我的正则表达式。

一个例子是：

'{"name":\"Bob Dylan\", "tags":"{Artist}{Singer}"}{"name": "Michael Jackson"}'

被解析成

'{"name":"Bob Dylan", "tags":"{Artist}'
'{Singer}"}'
'{"name": "Michael Jackson"}'

而不是

'{"name":"Bob Dylan", "tags":"{Artist}{Singer}"}'
'{"name": "Michael Jackson"}'

为进一步解析 json 实现这一点的正确方法是什么？

Answer 1

使用json.JSONDecoder的raw_decode方法

>>> import json
>>> d = json.JSONDecoder()
>>> x='{"name":\"Bob Dylan\", "tags":"{Artist}{Singer}"}{"name": "Michael Jackson"}'
>>> d.raw_decode(x)
({'tags': '{Artist}{Singer}', 'name': 'Bob Dylan'}, 47)
>>> x=x[47:]
>>> d.raw_decode(x)
({'name': 'Michael Jackson'}, 27)

raw_decode 返回一个 2 元组，第一个元素是解码后的 JSON，第二个元素是 JSON 结束后下一个字节的字符串中的偏移量。

循环直到结束或遇到无效的 JSON 元素：

>>> while True:
...   try:
...     j,n = d.raw_decode(x)
...   except ValueError:
...     break
...   print(j)
...   x=x[n:]
... 
{'name': 'Bob Dylan', 'tags': '{Artist}{Singer}'}
{'name': 'Michael Jackson'}

当循环中断时，检查 x 将显示它是否处理了整个字符串或遇到了 JSON 语法错误。

对于一个非常长的短元素文件，您可能会将一个块读入缓冲区并应用上述循环，将循环中断后剩余的任何内容与下一个块连接起来。

Answer 2

您可以使用jq 命令行实用程序将您的输入传输到 json。假设您有以下输入：

input.txt：

{"name":"Bob Dylan", "tags":"{Artist}{Singer}"}{"name": "Michael Jackson"}

您可以使用jq -s，它使用来自输入的多个json文档并将它们传输到单个输出数组中：

jq -s . input.txt

给你：

[
  {
    "name": "Bob Dylan",
    "tags": "{Artist}{Singer}"
  },
  {
    "name": "Michael Jackson"
  }
]

我刚刚意识到libjq 有 python 绑定。意思是你 不需要使用命令行，可以直接在python中使用jq。

https://github.com/mwilliamson/jq.py

但是，到目前为止，我还没有尝试过。让我试一试:) ...

更新：上面的库不错，但目前还不支持 slurp 模式。

Answer 3

你需要做一个解析器......我不认为正则表达式可以帮助你

data = ""
curlies = []
def get_dicts(file_text):
    for letter in file_text:
        data += letter
        if letter == "{":
           curlies.append(letter)
        elif letter == "}":
           curlies.pop() # remove last
           if not curlies:
              yield json.loads(data)
              data = ""

注意，这实际上并不能解决{name:"bob"}不是有效json的问题...{"name":"bob"}是

如果字符串中有奇怪的不平衡括号，这也会中断，即{"name":"{{}}}"} 会中断

真的，根据您的示例，您的 json 是如此损坏，您最好的选择可能是手动编辑它并修复生成它的代码......如果这不可行，您可能需要使用 pylex 编写更复杂的解析器或其他一些语法库（有效地编写自己的语言解析器）