为什么 file.tell() 会影响编码？

Question

在读取我的 GBK 编码文件时调用 tell() 会导致对 readline() 的下一次调用引发 UnicodeDecodeError。但是，如果我不调用tell()，它不会引发此错误。

C:\tmp>hexdump badtell.txt

000000: 61 20 6B 0D 0A D2 BB B0-E3                       a k......

C:\tmp>输入 test.py

with open(r'c:\tmp\badtell.txt', "r", encoding='gbk') as f:
    while True:
        pos = f.tell()
        line = f.readline();
        if not line: break
        print(line)

C:\tmp>python test.py

a k

Traceback (most recent call last):
  File "test.py", line 4, in <module>
    line = f.readline();
UnicodeDecodeError: 'gbk' codec can't decode byte 0xd2 in position 0:  incomplete multibyte sequence

当我删除f.tell() 语句时，它成功解码。为什么？ 我在Win7/Win10上试过Python3.4/3.5 x64，都一样。

任何一个，任何想法？我应该报告错误吗？

我有一个大文本文件，我很想得到这个大文本的文件位置范围，有解决方法吗？

Answer 1

好的，有一个解决方法，到目前为止它有效：

with open(r'c:\tmp\badtell.txt', "rb") as f:
    while True:
        pos = f.tell()
        line = f.readline();
        if not line: break
        line = line.decode("gbk").strip('\n')
        print(line)

我昨天在这里提交了一个问题：http://bugs.python.org/issue26990

还没有回复

Answer 2

我刚刚在 Linux 上的 Python 3.4 x64 上复制了这个。查看TextIOBase 的文档，我没有看到任何说tell() 的内容会导致读取文件出现问题，因此可能确实是一个错误。

b'\xd2'.decode('gbk')

给出与您看到的类似的错误，但在您的文件中，该字节后跟字节BB，并且

b'\xd2\xbb'.decode('gbk')

给出的值等于'\u4e00'，而不是错误。

我找到了一种解决方法，适用于您原始问题中的数据，但不适用于其他数据，正如您后来发现的那样。希望我知道为什么！我在每个tell() 之后调用seek()，并使用tell() 返回的值：

pos = f.tell()
f.seek(pos)
line = f.readline()

f.seek(f.tell()) 的替代方法是使用seek() 的SEEK_CUR 模式来给出位置。偏移量为 0，这与上面的代码相同：移动到当前位置并获取该位置。

pos = f.seek(0, io.SEEK_CUR)
line = f.readline()