如何在 Python 3 中迭代 Unicode 字符？

Question

我需要一次遍历一个字符的 Python 字符串，但是一个简单的“for”循环给了我 UTF-16 代码单元：

str = "abc\u20ac\U00010302\U0010fffd"
for ch in str:
    code = ord(ch)
    print("U+{:04X}".format(code))

打印出来的：

U+0061
U+0062
U+0063
U+20AC
U+D800
U+DF02
U+DBFF
U+DFFD

当我想要的是：

U+0061
U+0062
U+0063
U+20AC
U+10302
U+10FFFD

有没有办法让 Python 给我 Unicode 代码点的序列，而不管字符串实际上是如何编码的？我在这里在 Windows 上进行测试，但我需要可以在任何地方工作的代码。它只需要在 Python 3 上工作，我不关心 Python 2.x。

到目前为止，我能想到的最好的是：

import codecs
str = "abc\u20ac\U00010302\U0010fffd"
bytestr, _ = codecs.getencoder("utf_32_be")(str)
for i in range(0, len(bytestr), 4):
    code = 0
    for b in bytestr[i:i + 4]:
        code = (code << 8) + b
    print("U+{:04X}".format(code))

但我希望有更简单的方法。

（在精确的 Unicode 术语上的迂腐吹毛求疵将被无情地以四分之三的线索击败。我想我已经清楚地说明了我在这里追求的是什么，请不要用“但 UTF”浪费空间-16 在技术上也是 Unicode”类型的论点。）

Answer 1

在具有窄 Unicode 构建的 Python 3.2.1 上：

PythonWin 3.2.1 (default, Jul 10 2011, 21:51:15) [MSC v.1500 32 bit (Intel)] on win32.
Portions Copyright 1994-2008 Mark Hammond - see 'Help/About PythonWin' for further copyright information.
>>> import sys
>>> sys.maxunicode
65535

您的发现（UTF-16 编码）：

>>> s = "abc\u20ac\U00010302\U0010fffd"
>>> len(s)
8
>>> for c in s:
...     print('U+{:04X}'.format(ord(c)))
...     
U+0061
U+0062
U+0063
U+20AC
U+D800
U+DF02
U+DBFF
U+DFFD

解决方法：

>>> import struct
>>> s=s.encode('utf-32-be')
>>> struct.unpack('>{}L'.format(len(s)//4),s)
(97, 98, 99, 8364, 66306, 1114109)
>>> for i in struct.unpack('>{}L'.format(len(s)//4),s):
...     print('U+{:04X}'.format(i))
...     
U+0061
U+0062
U+0063
U+20AC
U+10302
U+10FFFD

Python 3.3 更新：

现在它按照 OP 期望的方式工作：

>>> s = "abc\u20ac\U00010302\U0010fffd"
>>> len(s)
6
>>> for c in s:
...     print('U+{:04X}'.format(ord(c)))
...     
U+0061
U+0062
U+0063
U+20AC
U+10302
U+10FFFD

Answer 2

Python 通常在内部将 unicode 值存储为 UCS2。 UTF-32 \U00010302 字符的 UTF-16 表示是 \UD800\UDF02，这就是你得到这个结果的原因。

也就是说，有一些使用 UCS4 的 python 构建，但这些构建彼此不兼容。

看看here。

Py_UNICODE 此类型表示 Python 在内部用作保存 Unicode 序数的基础的存储类型。 Python 的默认构建对 Py_UNICODE 使用 16 位类型，并将 Unicode 值在内部存储为 UCS2。也可以构建 Python 的 UCS4 版本（最近的 Linux 发行版带有 Python 的 UCS4 版本）。然后，这些构建对 Py_UNICODE 使用 32 位类型，并将 Unicode 数据在内部存储为 UCS4。在 wchar_t 可用且与所选 Python Unicode 构建变体兼容的平台上，Py_UNICODE 是 wchar_t 的 typedef 别名，以增强本机平台兼容性。在所有其他平台上，Py_UNICODE 是 unsigned short (UCS2) 或 unsigned long (UCS4) 的 typedef 别名。

Answer 3

如果您将字符串创建为 unicode 对象，它应该能够一次自动断开一个字符。例如：

Python 2.6：

s = u"abc\u20ac\U00010302\U0010fffd"   # note u in front!
for c in s:
    print "U+%04x" % ord(c)

我收到了：

U+0061
U+0062
U+0063
U+20ac
U+10302
U+10fffd

Python 3.2：

s = "abc\u20ac\U00010302\U0010fffd"
for c in s:
    print ("U+%04x" % ord(c))

它对我有用：

U+0061
U+0062
U+0063
U+20ac
U+10302
U+10fffd

此外，我发现 this link 解释了该行为正常工作。如果字符串来自文件等，可能需要先解码。

更新：

我找到了一个很有见地的explanation here。内部 Unicode 表示大小是一个编译时选项，如果使用 16 位平面之外的“宽”字符，您需要自己构建 python 以消除限制，或使用此页面上的解决方法之一。显然，正如我在上面遇到的那样，许多 Linux 发行版已经为您做到了这一点。