Python3 - ascii/utf-8/iso-8859-1 无法解码字节 0xe5（瑞典字符）

Question

我试过io、repr() 等，它们都不起作用！

输入å时出现问题(\xe5)：

（这些都不起作用）

import sys
print(sys.stdin.read(1))

sys.stdin = io.TextIOWrapper(sys.stdin.detach(), errors='replace', encoding='iso-8859-1', newline='\n')
print(sys.stdin.read(1))

x = sys.stdin.buffer.read(1)
print(x.decode('utf-8'))

他们都给我大致UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe5 in position 0: unexpected end of data

还尝试使用以下命令启动 Python：export PYTHONIOENCODING=utf-8 也不起作用。

---

现在，这就是我所在的位置：

import sys, codecs
sys.stdout = codecs.getwriter("utf-8")(sys.stdout.detach())
sys.stdin = codecs.getwriter("utf-8")(sys.stdin.detach())

x = sys.stdin.read(1)

print(x.decode('utf-8', 'replace'))

这给了我：�
近了……

如何在我的控制台中将\xe5 转换为å？ 如果它不破坏input()，因为这个解决方案破坏了它。

注意：我知道以前有人问过这个问题，但没有人能解决它.. 尤其是 io

---

我的系统的一些信息

os.environ['LANG'] == 'C'
sys.getdefaultencoding() == 'utf-8'
sys.stdout.encoding == 'ANSI_X3.4-1968'
sys.stdin.encoding == 'ANSI_X3.4-1968'

我的操作系统：ArchLinux 运行 xterm
运行locale -a 给我：C | POSIX | sv_SE.utf8

我已经关注了这些：

• Python 3: How to specify stdin encoding
• http://python-notes.curiousefficiency.org/en/latest/python3/binary_protocols.html
• http://wolfprojects.altervista.org/talks/unicode-and-python-3/
• http://getpython3.com/diveintopython3/strings.html
• Python 3 - Encode/Decode vs Bytes/Str
• How to set sys.stdout encoding in Python 3?
• http://docs.python.org/3.0/howto/unicode.html

（还有 50 多个）

解决方案（有点，仍然打破input()）

sys.stdout = codecs.getwriter("latin-1")(sys.stdout.detach())
sys.stdin = codecs.getwriter("latin-1")(sys.stdin.detach())

x = sys.stdin.read(1)

print(x.decode('latin-1', 'replace'))

Answer 1

你在xterm 中运行这个，不是support UTF-8 by default。以xterm -u8 运行它或使用uxterm 来修复它。

解决这个问题的另一种方法是使用不同的语言环境；例如，将您的语言环境设置为 Latin-1：

export LANG=sv_SE.ISO-8859-1

但是您被限制为 256 个代码点，而 Unicode 标准的全部范围（数百万）。

请注意，Python 2 从未解码输入；写出您从终端读取的内容看起来不错，因为您读取的原始字节由终端在相同的语言环境中解释；读取和写入 Latin-1 字节就可以了。然而，这与处理 Unicode 数据并不完全相同。

Answer 2

在 Python3 中采用编程方法，而不是更改终端编解码器：

import sys, codecs
sys.stdout = codecs.getwriter("latin-1")(sys.stdout.detach())
sys.stdin = codecs.getwriter("latin-1")(sys.stdin.detach())
sys.stdout.write(sys.stdin.read(1).decode('latin-1', 'replace'))

这不仅让你选择/匹配你的终端“编码”，它实际上需要没有外部影响（例如export LANG=sv_SE.ISO-8859-1）。

唯一的缺点：

input('something: ')

会破坏，修复它是：

# Since it's bad practice to name function the
# same as __builtins__, we'll go ahead and call it something
# we're used to but isn't in use any more.
def raw_input(txt):
    sys.stdout.write(txt)
    sys.stdout.flush()
    sys.stdin.flush()
    return sys.stdin.readline().strip()

非常感谢Martijn 提供了一个大 说明原因，事实上数据是 latin-1！