在 Python 中解析包含“\u 作为 UTF-8 字节”的 JSON

Question

我有一个来自 Facebook 的“下载您的数据”功能的 JSON 文件，它没有将 Unicode 字符转义为代码点编号，而是转义为 UTF-8 字节序列。

例如，字母 á (U+00E1) 在 JSON 文件中转义为 \u00c3\u00a1 而不是 \u00e1。 0xC3 0xA1 是 U+00E1 的 UTF-8 编码。

Python 3 中的 json 库将其解码为 á，对应于 U+00C3 和 U+00A1。

有没有办法在 Python 中正确解析这样的文件（以便我得到字母 á）？

Answer 1

似乎他们使用 utf-8 将 Unicode 字符串编码为字节，然后将字节转换为 JSON。这是他们非常糟糕的行为。

Python 3 示例：

>>> '\u00c3\u00a1'.encode('latin1').decode('utf-8')
'á'

您需要解析 JSON 并遍历整个数据来修复它：

def visit_list(l):
    return [visit(item) for item in l]

def visit_dict(d):
    return {visit(k): visit(v) for k, v in d.items()}

def visit_str(s):
    return s.encode('latin1').decode('utf-8')

def visit(node):
    funcs = {
        list: visit_list,
        dict: visit_dict,
        str: visit_str,
    }
    func = funcs.get(type(node))
    if func:
        return func(node)
    else:
        return node

incorrect = '{"foo": ["\u00c3\u00a1", 123, true]}'
correct_obj = visit(json.loads(incorrect))