修复无效的 JSON 八进制转义答案

【问题标题】：Fixing invalid JSON octal escape修复无效的 JSON 八进制转义
【发布时间】：2013-02-18 08:33:00
【问题描述】：

KISSmetrics 生成我需要解析的无效 JSON 字符串。我遇到了很多错误，例如

ERROR 2013-03-04 04:31:12,253 Invalid \escape: line 1 column 132 (char 132): {"search engine":"Google","_n":"search engine hit","_p":"z392cpdpnm6silblq5mac8kiugq=","search terms":"happy new year animation 1920\303\2271080 hd","_t":1356390128}

ERROR 2013-03-04 04:34:19,153 Invalid \escape: line 1 column 101 (char 101): {"search engine":"Google","_n":"ad campaign hit","_p":"byskpczsw6sorbmzqi0tk1uimgw=","search terms":"\331\203\330\261\330\252\331\207 \331\201\331\212\330\257\331\212\330\244\331\211 \330\256\331\212\331\204\330\247\330\255\331\211 \331\203\331\210\330\261\330\257\331\211","_t":1356483052}

我的代码是：

for line in lines:
    try:
        data = self.clean_data(json.loads(line))
        except ValueError, e:
            logger.error('%s: %s' % (e.message, line))

原始数据示例：

{"search engine":"Google","_n":"search engine hit","_p":"kvceh84hzbhywcnlivv+hdztizw=","search terms":"military sound effects programs","_t":1356034177}

有没有机会清理这个凌乱的 JSON 并解析它？感谢您的帮助。

【问题讨论】：

如何解析 JSON？解码前的值repr()是多少？
啊，你的输入数据有 octal 转义，看起来像。那些确实是无效的 JSON。
stackoverflow.com/questions/10480148/…
还有一个建议在重复问题中使用unicode-escape：stackoverflow.com/questions/43018576/…
相关：Windows 文件路径中缺少双转义：python - json reading error json.decoder.JSONDecodeError: Invalid \escape - Stack Overflow，十六进制转义python - simplejson.loads() get Invalid \escape: 'x' - Stack Overflow

标签： python json string parsing

【解决方案1】：

您的输入数据包含八进制转义；那些确实是无效的。使用正则表达式将它们替换为解码字节：

import re

invalid_escape = re.compile(r'\\[0-7]{1,3}')  # up to 3 digits for byte values up to FF

def replace_with_byte(match):
    return chr(int(match.group(0)[1:], 8))

def repair(brokenjson):
    return invalid_escape.sub(replace_with_byte, brokenjson)

这使您的输入起作用：

>>> data1 = r"""{"search engine":"Google","_n":"search engine hit","_p":"z392cpdpnm6silblq5mac8kiugq=","search terms":"happy new year animation 1920\303\2271080 hd","_t":1356390128}"""
>>> json.loads(repair(data1))
{u'_n': u'search engine hit', u'search terms': u'happy new year animation 1920\xd71080 hd', u'_p': u'z392cpdpnm6silblq5mac8kiugq=', u'_t': 1356390128, u'search engine': u'Google'}
>>> print json.loads(repair(data1))['search terms']
happy new year animation 1920×1080 hd
>>> data2 = r"""{"search engine":"Google","_n":"ad campaign hit","_p":"byskpczsw6sorbmzqi0tk1uimgw=","search terms":"\331\203\330\261\330\252\331\207 \331\201\331\212\330\257\331\212\330\244\331\211 \330\256\331\212\331\204\330\247\330\255\331\211 \331\203\331\210\330\261\330\257\331\211","_t":1356483052}"""
>>> json.loads(repair(data2)){u'_n': u'ad campaign hit', u'search terms': u'\u0643\u0631\u062a\u0647 \u0641\u064a\u062f\u064a\u0624\u0649 \u062e\u064a\u0644\u0627\u062d\u0649 \u0643\u0648\u0631\u062f\u0649', u'_p': u'byskpczsw6sorbmzqi0tk1uimgw=', u'_t': 1356483052, u'search engine': u'Google'}
>>> print json.loads(repair(data2))['search terms']
كرته فيديؤى خيلاحى كوردى

【讨论】：

已调整；字节最多只有 3 个八进制长，并将 UTF-8 编码为八进制，因此您需要改用 chr()。

【解决方案2】：

在这个确切的场景中考虑 cjson (https://pypi.python.org/pypi/python-cjson)

似乎可以处理转义的八进制数（而且很快）。

【讨论】：

在 OSX 上编译失败（pip3 安装）
cjson 仅适用于 Python 2，对于 Python 3，请使用 ujson。 pip install ujson 然后import ujson as json

【解决方案3】：

我有类似的问题，只是用 yaml 替换 json 库解决了这个问题。（YAML 与 JSON 兼容。）

例子：

import yaml

obj = yaml.load(json_string) # instead of json.loads(json_string)

【讨论】：