如何在 python 2.7 中验证字符串是有效的 UTF-8 字符串

Question

我有以下字符串 -

"\xed\xad\x80\xed\xb1\x93"

当使用此字符串在 PostgreSQL 数据库中执行查询时，会引发以下错误 -

DataError: invalid byte sequence for encoding "UTF8": 0xed 0xad 0x80

在 python 2.7 中测试它时（在执行查询之前）它不会引发异常 -

Windows 测试 -

'\xed\xad\x80\xed\xb1\x93'.decode("utf-8")
u'\U000e0053'

Linux 测试-

'\xed\xad\x80\xed\xb1\x93'.decode("utf-8")
u'\udb40\udc53'

在python3中，它实际上引发了一个异常-

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xed in position 0: invalid continuation byte

如何在 python 2.7 中检查它不是 有效的 utf-8 字符串？

Answer 1

它是一个有效的 UTF-8 代码，但它不属于一个字符。

0xEDAD80 转换为 UNICODE 代码点 DB40，它是“high surrogate”，而不是这样的字符。

所以这些数据不是 UTF-8 编码的字符。用 UTF-8 编码代理是没有意义的，它们通常用于 UTF-16 和 UCS-2 等编码。

RFC 3629 实际上声明不允许编码代理：

UTF-8 的定义禁止编码字符之间的数字 U+D800 和 U+DFFF，保留用于 UTF-16 编码形式（作为代理对）并且不直接表示 字符。

这听起来像是 Python v2 中的一个错误，您可以这样报告。