为什么这些看起来一样的字符串，却被代码区别对待？ [复制]

Question

我正在使用 Python 创建一些带有 unicode 文本的文件，并将内容保存在 sqlite3 DB 中。后来，我获取了这些文件并进行了一些更改。问题是 Python 不认为这两个字符串是相同的，即使它们看起来一样。

这是一个例子：

Str1 : "Copa América 2019"
Str2 : "Copa América 2019"

虽然这两个字符串看起来完全一样，但程序不会将它们视为相同。

我在其他语言（韩语、日语等）中也看到了相同的行为，因此在这里选择了法语示例，因为它对我来说更容易阅读。韩文/日文我根据字符的外观匹配字符。

我也在网上进行了比较（例如https://www.quickdiff.com/）并发现了相同的结果...所以它不是特定于 Python 的，而是其他一些问题。

我可以对字符串执行什么操作，以便代码将这两个字符串视为相同？

尝试单独显式转换为 str / utf-8 编码，但无济于事。

a = "Copa América 2019"
b = "Copa América 2019"
if a == b:
    print 'y'

type(a)
    <type 'str'>
type(b)
    <type 'str'>

我希望这些字符串的字符串比较结果为 True。

Answer 1

@Blorgbeard 答案的完整演示。

import unicodedata

a = "é"
b = "é"

print(len(a)) # 1
print(len(b)) # 2

print(len(unicodedata.normalize("NFC", a))) # 1
print(len(unicodedata.normalize("NFC", b))) # 1

print(len(unicodedata.normalize("NFD", a))) # 2
print(len(unicodedata.normalize("NFD", b))) # 2

此问题可能会被标记为重复问题，请留在这里以防万一。