Python 2 采用不同的源代码编码

Question

我注意到，如果没有源代码编码声明，Python 2 解释器假定源代码是用 scripts 和 standard input 以 ASCII 编码的：

$ python test.py  # where test.py holds the line: print u'é'
  File "test.py", line 1
SyntaxError: Non-ASCII character '\xc3' in file test.py on line 1, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

$ echo "print u'é'" | python
  File "/dev/fd/63", line 1
SyntaxError: Non-ASCII character '\xc3' in file /dev/fd/63 on line 1, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

它以 ISO-8859-1 编码，带有 -m module 和 -c command 标志：

$ python -m test  # where test.py holds the line: print u'é'
é

$ python -c "print u'é'"
é

记录在哪里？

与 Python 3 相比，Python 3 始终假定源代码以 UTF-8 编码，因此在四种情况下打印 é。

注意。 – 我在 macOS 10.13 和 Ubuntu Linux 17.10 上的 CPython 2.7.14 上对此进行了测试，控制台编码设置为 UTF-8。

Answer 1

-c 和-m 开关最终^(*)运行exec statement 或compile() function 提供的代码，两者都采用Latin-1 源代码：

第一个表达式的计算结果应为 Unicode 字符串、Latin-1 编码字符串、打开的文件对象、代码对象或元组。

这没有记录，它是一个实现细节，可能会或可能不会被视为错误。

我不认为这是值得修复的东西，而且 Latin-1 是 ASCII 的超集，所以几乎没有丢失。如何处理来自-c 和-m 的代码已在Python 3 中进行了清理，并且在那里更加一致；使用-c 传入的代码使用当前语言环境进行解码，使用-m 开关加载的模块像往常一样默认为UTF-8。

---

^(*)如果您想知道所使用的具体实现，请从Py_Main() function in Modules/main.c 开始，它将-c 和-m 处理为：

if (command) {
    sts = PyRun_SimpleStringFlags(command, &cf) != 0;
    free(command);
} else if (module) {
    sts = RunModule(module, 1);
    free(module);
}

• -c 是通过PyRun_SimpleStringFlags() function 执行的，而PyRun_SimpleStringFlags() function 又调用PyRun_StringFlags()。当您使用exec 时，也会将一个字节串对象传递给PyRun_StringFlags()，然后假定源代码包含Latin-1 编码的字节。
• -m 使用RunModule() function 将模块名称传递给runpy module 中的private function _run_module_as_main()，它使用pkgutil.get_loader() 加载模块元数据，并通过@ 上的loader.get_code() 函数获取模块代码对象987654330@;如果没有可用的缓存字节码，则模式设置为exec 的code object is produced by using the compile() function。