Python从本地文件中读取unicode

Question

我正在尝试读取我在本地拥有的一些 unicode 文件。使用列表时如何读取 unicode 文件？我已经阅读了 python 文档和大量 * 问答，它们回答了我的许多其他问题，但我找不到这个问题的答案。

感谢任何帮助。

编辑：抱歉，我的文件是 utf-8 格式。

Answer 1

您可以使用打开 UTF-8 编码的文件

import codecs
with codecs.open("myutf8file.txt", encoding="utf-8-sig") as infile:
    for line in infile:
        # do something with line

请注意，codecs.open() 不会将 \r\n 转换为 \n，因此如果您使用的是 Windows 文件，则需要考虑到这一点。

utf-8-sig 编解码器将读取带有或不带有 BOM (Byte Order Mark) 的 UTF-8 文件（如果存在则将其剥离）。在编写时，您应该使用utf-8 作为编解码器，因为the Unicode standard recommends against writing a BOM in UTF-8 files。