为什么 Python unicode 字符串需要对 UTF-8 BOM 进行特殊处理？

Question

由于某种原因，Python 在从 UTF-8 文件中读取 unicode 字符串时似乎遇到了 BOM 问题。考虑以下几点：

with open('test.py') as f:
   for line in f:
      print unicode(line, 'utf-8')

看起来很简单，不是吗？

这就是我的想法，直到我从命令行运行它并得到：

UnicodeEncodeError: 'charmap' 编解码器无法编码字符 u'\ufeff' 在位置 0：字符映射到 <undefined>

对 Google 的简短访问表明，必须手动清除 BOM：

import codecs
with open('test.py') as f:
   for line in f:
      print unicode(line.replace(codecs.BOM_UTF8, ''), 'utf-8')

这个运行良好。但是我很难看到这有什么好处。

上述行为背后是否有理由？相比之下，UTF-16 可以无缝运行。

Answer 1

'utf-8-sig' 编码将代表您使用 BOM 签名。

Answer 2

你写道：

 UnicodeEncodeError: 'charmap' codec can't encode character u'\ufeff' in position 0: character maps to <undefined>

当您在 Python 中指定 "utf-8" 编码时，它会让您信服。 UTF-8 文件不应该包含 BOM。它们既不是必需的，也不是推荐的。字节顺序对 8 位代码单元没有意义。

BOM 也搞砸了，因为你不能再只是这样做：

$ cat a b c > abc 

如果这些 UTF-8 文件中包含无关的（读取：任何）BOM。现在看看为什么 BOM 在 UTF-8 中如此愚蠢/糟糕/有害？他们实际上破坏了东西。

BOM 是元数据，而不是数据，UTF-8 编码规范不像 UTF-16 和 UTF-32 规范那样允许它们。所以 Python 相信你的话并遵循规范。很难怪它。

如果您尝试使用 BOM 作为文件类型幻数来指定文件的内容，那么您真的不应该这样做。您确实应该为这些元数据目的使用更高级别的 prototocl，就像使用 MIME 类型一样。

这只是另一个蹩脚的 Windows 错误，解决方法是使用备用编码 "utf-8-sig" 传递给 Python。