当 unicode 与二进制混合时，python 编解码器 readline 失败

Question

[python 3.4] 有一个 UTF-8 文件混合了日文和二进制文件。 我尝试使用以下代码读取行：

line = None
linecount = 0
with codecs.open(destfile, 'r', 'utf-8') as fd:
    while True:
        try:
            line = fd.readline()
            linecount += 1
        except UnicodeDecodeError:
            continue

        if not line:
            break;

    print(linecount)

尝试忽略带有二进制代码的行，但它会在带有二进制代码的行处停止。

如何正确读取文件而忽略二进制代码行

Answer 1

readline 读取更大的块、解码和缓冲区。如果您遇到无效的 utf-8 字符，您将在该无效块中丢失多行。为了让事情变得复杂，即使您认为某些数据是二进制的，它也可能看起来像有效的 utf-8 并且解码没有错误。此外，实际上并不存在“二进制行”这样的东西，因为行只是由0A 字节或0D0A 序列分隔的字节序列。但它们都是二进制数，所以谁说它们是为了终止一行而不是仅仅作为二进制数据的一部分。

考虑到这一点，您可以在换行符上进行解码后进一步解码：

line = None
linecount = 0

for line in open(destfile, 'rb'):
    try:
        line = line.decode('utf-8')
        linecount += 1
    except UnicodeDecodeError:
        pass
print(linecount)