规范化复合/可分解/可变长度字符（unicode/python3.4）

Question

我偶然发现了http://mortoray.com/2013/11/27/the-string-type-is-broken/

令我恐惧的是......

print(len('noe\u0308l')) # returns 5 not 4

但是我发现 https://stackoverflow.com/a/14682498/1267259, Normalizing Unicode

from unicodedata import normalize
print(len(unicodedata.normalize('NFC','noe\u0308l'))) # returns 4

但是我该怎么处理薛定谔的猫呢？

print(len('????????')) # returns 4 not 2

（附带问题：在我的文本编辑器中，当我尝试保存时，我得到一个“utf-8 编解码器无法在位置 y 编码字符 x：不允许代理”但在命令提示符下我可以粘贴并运行带有这些字符的代码，我认为这是因为猫存在于不同的量子水平（SMP）上，但我该如何标准化它们？）

我还应该做些什么来确保所有字符都计为“1”？

Answer 1

为了在任何版本的 Python 上保持一致的代码点计数，编码为 UTF-32 并将字节数除以 4。

print(len(unicodedata.normalize('NFC','noe\u0308l').encode('utf-32le')) / 4)
print(len('\U0001f638\U0001f63e'.encode('utf-32le')) / 4)

Answer 2

您的编辑器正在生成surrogate pairs，而不是实际的代码点，这就是您也收到该警告的原因。使用：

'\U0001f638\U0001f63e'

在不借助代理的情况下定义猫。

如果您确实有一个带有代理项的字符串，您可以通过 UTF-16 重新编码它们并允许使用 'surrogatepass' 错误处理程序对代理项进行编码：

>>> # \U0001f638 is \ud83d\ude38 when using UTF-16 surrogates
...
>>> '\ud83d\ude38'.encode('utf16', 'surrogatepass').decode('utf16')
'?'
>>> len(_)
1

来自Error Handlers documentation：

'surrogateescape'
解码时，将字节替换为从U+DC80 到U+DCFF 的各个代理代码。当编码数据时使用'surrogateescape' 错误处理程序时，此代码将转回相同的字节。 （更多信息请参见PEP 383。）