codecs.open(utf-8) 无法读取纯 ASCII 文件

Question

我有一个纯 ASCII 文件。当我尝试使用codecs.open(..., "utf-8") 打开它时，我无法读取单个字符。 ASCII是UTF-8的一个子集，为什么codecs不能以UTF-8模式打开这样的文件呢？

# test.py

import codecs

f = codecs.open("test.py", "r", "utf-8")

# ASCII is supposed to be a subset of UTF-8:
# http://www.fileformat.info/info/unicode/utf8.htm

assert len(f.read(1)) == 1 # OK
f.readline()
c = f.read(1)
print len(c)
print "'%s'" % c
assert len(c) == 1 # fails

# max% p test.py
# 63
# '
# import codecs
#
# f = codecs.open("test.py", "r", "utf-8")
#
# # ASC'
# Traceback (most recent call last):
#   File "test.py", line 15, in <module>
#     assert len(c) == 1 # fails
# AssertionError
# max%

系统：

Linux max 4.4.0-89-generic #112~14.04.1-Ubuntu SMP Tue Aug 1 22:08:32 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux

当然，它适用于普通的open。如果我删除 "utf-8" 选项，它也可以工作。还有63 是什么意思？这就像第三行的中间。没看懂。

Answer 1

发现你的问题：

当传递一个编码时，codecs.open 返回一个StreamReaderWriter，它实际上只是一个包装器（不是的子类；它是“组成”关系，而不是继承）@987654325 @ 和 StreamWriter。问题是：

1. StreamReaderWriter 提供了一个“普通的”read 方法（也就是说，它需要一个 size 参数，仅此而已）
2. 它委托给内部StreamReader.read method，其中size 参数只是关于要读取的字节数的提示，而不是限制； second 参数 chars 是一个严格的限制器，但 StreamReaderWriter 从不传递该参数（它不接受它）
3. 当size 提示，但没有使用chars 封顶时，如果StreamReader 有缓冲数据，并且足够大以匹配size 提示StreamReader.read 盲目返回缓冲区的内容，而不是限制它以任何方式基于size 提示（毕竟，只有chars 施加了最大 返回大小）

StreamReader.read的API和size/chars对于API的含义是这里唯一记录的东西； codecs.open返回StreamReaderWriter的事实不是契约的，StreamReaderWriter包裹StreamReader的事实也不是，我只是使用ipython的??魔法来阅读codecs模块的源代码来验证这种行为。但不管有没有记录，这就是它正在做的事情（请随意阅读StreamReaderWriter 的源代码，它都是 Python 级别的，所以很容易）。

最好的解决方案是切换到io.open，这在每种标准情况下都更快、更正确（codecs.open 支持无法在bytes [Py2 str] 和@987654356 之间转换的怪异编解码器@ [Py2 unicode]，而是处理 str 到 str 或 bytes 到 bytes 编码，但这是一个非常有限的用例；大多数时候，你在 bytes 之间转换和str)。您需要做的就是导入io 而不是codecs，并将codecs.open 行更改为：

f = io.open("test.py", encoding="utf-8")

您的其余代码可以保持不变（并且可能会在启动时运行得更快）。

作为替代方案，您可以显式绕过StreamReaderWriter 以获取StreamReader 的read 方法并直接传递限制参数，例如改变：

c = f.read(1)

到：

# Pass second, character limiting argument after size hint
c = f.reader.read(6, 1)  # 6 is sort of arbitrary; should ensure a full char read in one go

我怀疑Python Bug #8260，它涵盖了在codecs.open 创建的文件对象上混合readline 和read，适用于此处，正式地，它是“固定的”，但是如果您阅读了 cmets，则修复不完整（鉴于文档化的 API，可能无法完成）； read 和 readline 的任意奇怪组合将能够打破它。

再次，只需使用io.open；只要您使用的是 Python 2.6 或更高版本，就可以使用它，而且效果更好。