Pydev 3.8 或 3.9 需要在 Python 3 代码中手动设置 utf-8 编码：UnicodeDecodeError

Question

在 Python 3.4 中从 Python shell 运行这段代码就可以了：

from csv import reader

if __name__ == '__main__':
    filename = "valid.csv"

    with open(filename) as f:
        csvreader = reader(f)
        for keyword in csvreader:
            kw = keyword[0]

但是，在 Eclipse 中使用 Pydev 3.8 或 3.9 运行它会失败：

pydev debugger: starting (pid: 64416)
Traceback (most recent call last):
  File "/Applications/eclipse/plugins/org.python.pydev_3.9.0.201411111611/pysrc/pydevd.py", line 2183, in <module>
    globals = debugger.run(setup['file'], None, None)
  File "/Applications/eclipse/plugins/org.python.pydev_3.9.0.201411111611/pysrc/pydevd.py", line 1622, in run
    pydev_imports.execfile(file, globals, locals)  # execute the script
  File "/Applications/eclipse/plugins/org.python.pydev_3.9.0.201411111611/pysrc/_pydev_imps/_pydev_execfile.py", line 18, in execfile
    exec(compile(contents+"\n", file, 'exec'), glob, loc) 
  File "/Users/antoinebrunel/src/test_pydev/test_pydev/test_pydev.py", line 14, in <module>
    for keyword in csvreader:
  File "/Users/antoinebrunel/.virtualenvs/seo3/lib/python3.4/encodings/ascii.py", line 26, in decode
    return codecs.ascii_decode(input, self.errors)[0]
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 5: ordinal not in range(128)

为了让代码运行，替换：

with open(filename, mode='rt') as f:

与：

with open(filename, mode='rt', encoding='utf-8') as f:

注意 1：文件 valid.csv 包含任何带重音的字符，例如：

à

注2：在Eclipse 首选项> 工作区中，文本文件编码设置为utf-8

参考 This StackOverflow question 可能相关

Answer 1

来自open() function 文档：

encoding 是用于对文件进行解码或编码的编码名称。这应该只在文本模式下使用。 默认编码取决于平台（无论locale.getpreferredencoding() 返回什么），但可以使用 Python 支持的任何编码。

强调我的。您不应该依赖默认编码；显然 PyDev 环境已设置为 ASCII 为默认编解码器的语言环境。

如果您事先知道您的 CSV 编码为 UTF-8，请在打开文件时明确设置编解码器，并且不要假设您运行它的系统已将 UTF-8 配置为首选文本数据编解码器。