使用 \u 转义解析 JSON 字符串

Question

我有一个 Python 服务，其端点将数据传递给另一个服务，获取结果并将其传递给请求者。表单中有一个 message 归档，如果我输入一个 Unicode 字符 - 比如说“微笑的眼睛笑脸” (U+1F601) - 我在请求表单对象中看到以下内容

ImmutableMultiDict([('message', u'\U0001f601'),...

当我得到其他服务的响应时，我有这个

{..., u'message': u'\xf0\x9f\x98\x81',...}

然后使用 json.dumps 将其 JSON 化为

{..."message": "\u00f0\u009f\u0098\u0081"...}

最后，在客户端，消息字符串被解析成

ð

（如果我没记错的话，那个字符的 Unicode 代码是\u00f0）

那么它哪里出错了？看起来我有一个使用 utf8 十六进制转义从外部服务返回的字符串。我尝试使用 utf8 解码该字符串，但出现以下错误

return codecs.utf_8_decode(input, errors, True) UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal not inrange(128)

Answer 1

要正确处理此问题，您需要修复创建 u'\xf0\x9f\x98\x81' mojibake 的过程。如前所述，这些字节是正确的，但它们需要是纯字符串（在 Python 3 中是 bytes 字符串）而不是 Unicode 字符串。没有看到相关代码，我们无法提供更多细节。

但是，您可以通过将 mojibake 编码为拉丁语 1 来提取字节码，然后将这些字节解码为 UTF-8 以创建正确的 Unicode：

d = {u'message': u'\xf0\x9f\x98\x81'}
for k, v in d.items():
    # Extract bytes from mojibake Unicode
    b = v.encode('latin1')
    # Now decode the extracted bytes as UTF-8
    s = b.decode('UTF-8')
    print k, s

输出

message ?

或者更简洁的形式：

v = u'\xf0\x9f\x98\x81'
s = v.encode('latin1').decode('utf-8')
print(s)

这适用于 Python 2 和 3。

---

您应该认真考虑迁移到 Python 3，在该版本中 Unicode 处理更加明智，并且您不太可能产生此类混淆。