UnicodeDecodeError：“charmap”编解码器无法解码位置 XXX 中的字节 0x8f：char

Question

我正在尝试从 python 脚本中读取一个日志文件。我的程序在 Linux 中运行良好，但在 Windows 中出现错误。在读取特定行号的某些行后，我收到以下错误

  File "C:\Python\lib\encodings\cp1252.py", line 23, in decode
    return codecs.charmap_decode(input,self.errors,decoding_table)[0]
UnicodeDecodeError: 'charmap' codec can't decode byte 0x8f in position 311: char
acter maps to <undefined> 

以下是我用来读取文件的代码

with open(log_file, 'r') as log_file_fh:
    for line in log_file_fh:
        print(line)

我尝试通过使用 ascii、utf8、utf-8、ISO-8859-1、cp1252、cp850 等不同的编码模式来修复它。 但仍然面临同样的问题。 有什么办法可以解决这个问题。

Answer 1

我想通过python脚本读取的日志文件是用西方语言编码的。 我已经参考了以下链接 https://docs.python.org/2.4/lib/standard-encodings.html 我使用“cp850”作为编码模式，这对我有用

with open(log_file, 'r',encoding='cp850') as log_file_fh:
    for line in log_file_fh:
        print(line)

但是对于西欧，该网站上有很多编解码器可用。 我认为这不是正确的解决方案，因为 大多数开发人员建议不要使用“cp850”模式

处理编码错误的最佳方法是在打开文件时添加错误参数并将“忽略”作为属性。它将忽略我们无法解码的特殊字符。在我的情况下，这个选项是可以的，因为我没有'不想读取文件的全部内容。我只想要一些特定的日志。

with open(log_file, 'r',errors='ignore') as log_file_fh:
    for line in log_file_fh:
        print(line)

Answer 2

编辑： 按照建议以二进制模式打开文件：with open(log_file, 'rb')

然后在你的代码中解码 utf-8：

with open(log_file, 'r') as log_file_fh:
    for line in log_file_fh:
        line = line.decode('utf-8')
        print(line)