非 ASCII 的比较仅在 IDLE 中有效

Question

我正在编写一个相当简单的代码，将欧洲葡萄牙语输入转换为巴西葡萄牙语——因此有很多重音字符，例如 á、é、À、ç 等。

基本上，目标是从一个列表中找到文本中的单词，并将它们替换为第二个列表中的 BR 单词。

代码如下：

#-*- coding: latin-1 -*-

listapt=["gestão","utilizador","telemóvel"]
listabr=["gerenciamento", "usuário", "celular"]

while True:

    #this is all because I need to be able to input multiple lines of text, seems to be working fine 

    print ("Insert text")
    lines = []

    while True:
        line = raw_input()
        if line != "FIM":
            lines.append(line)
        else:
            break
    text = '\n'.join(lines)    

    for word in listapt:
        if word in text:
            num = listapt.index(word)
            wordbr = listabr[num]
            print(word + " --> " + wordbr) #just to show what changes were made
            text = text.replace(word, wordbr)

    print(text)

我使用 IDLE 并双击 .py 文件在 Windows 上运行代码。 该代码在使用 IDLE 时运行良好，但在双击 .py 文件时无法匹配和替换字符。

Answer 1

这就是代码在 IDLE 中按预期工作但不能通过 CMD 或双击运行的原因：

1. 您的代码是 UTF-8 编码的，而不是 latin-1 编码的
2. IDLE 始终在 UTF-8“输入/输出”模式下工作。
3. 在 Windows 上，CMD/双击将使用非 UTF-8 8 位语言环境。
4. 当您的代码将输入与硬编码字符串进行比较时，它是在字节级别进行的。在 IDLE 上，它将 UTF-8 与硬编码的 UTF-8 进行比较。在 CMD 上，它将非 UTF-8 8 位与硬编码的 UTF-8 进行比较（如果您使用的是 MacOS，它也可以工作）。

解决此问题的方法是确保您将“苹果与苹果”进行比较。您可以通过将所有内容转换为相同的编码来做到这一点。例如。将输入读取转换为 UTF-8，使其与硬编码字符串匹配。更好的解决方案是将所有 [byte] 字符串转换为 Unicode 字符串（没有编码的字符串）。如果您使用的是 Python 3，这将是全部自动的。

在 Python 2.x 上，您需要做三件事：

1. 在所有源代码字符串前加上u，使其成为Unicode字符串：

   listapt=[u"gestão",u"utilizador",u"telemóvel"]
   listabr=[u"gerenciamento",u"usuário", u"celula]
   ...
   if line != u"FIM":
   

   或者，添加from __future__ import unicode_literals 以避免更改所有代码。

2. 使用正确的编码标头对文件进行编码。我怀疑你的标题应该是utf-8。例如

   #-*- coding: utf-8 -*-
   

3. 将raw_input 的结果转换为Unicode。这必须通过检测到的标准输入编码来完成：

   import sys
   line = raw_input().decode(sys.stdin.encoding) 
   

顺便说一句，更好的方法是对单词列表进行建模以替换它以使用 dict。键是原词，值是替换词。例如

words = { u"telemóvel": u"celula"}

Answer 2

我没有看到这个问题。

根据您对 raw_input 的使用，您似乎使用的是 Python 2.x

这可能是因为我正在复制粘贴堆栈溢出，并且对您有不同的开发环境。

尝试在最新的 Python 3 解释器下运行您的脚本，并删除“#-*- coding:”行。

这应该在您的代码中更快地遇到 UnicodeDecodeError 问题，或者工作正常。

您在这里遇到的问题是 Python 2.x 在尝试在字节序列（Python 2.x 字符串包含的内容，例如二进制文件内容）和人类有意义的文本（unicode，例如诸如中文字符的用户信息显示），因为它对人类可读文本如何编码为 Python 字符串中的字节序列做出了错误的假设。

这是 Python 3 试图更好/不那么含糊地解决的一个细节。

Answer 3

首先尝试执行下面的代码，应该可以解决问题：

# -*- coding: latin-1 -*-

listapt=[u"gestão",u"utilizador",u"telemóvel"]
listabr=[u"gerenciamento",u"usuário", u"celular"]

lines=[]
line = raw_input()
line = line.decode('latin-1')
if line != "FIM":
    lines.append(line)

text = u'\n'.join(lines)    

for word in listapt:
    if word in text:
        print("Hello")
        num = listapt.index(word)
        print(num)
        wordbr = listabr[num]
        print(wordbr)