如何在 python 中读取 unicode 文件（不是 UTF-8）

Question

如何读取python 2.x中的unicode文件（不是UTF-8，未知编码）

我试图找到一种读取 unicode 文件的方法。 我在网上搜索了很久很久。 但我找不到它。 我发现的是读取编码为 UTF-8 等文件的方法。 我知道，当我需要读取 UTF-8 时，我可以使用编解码器。

codecs.open('unicode2.txt',encoding='utf-8')

使用它我可以读取 UTF-8 文件。 但我想知道如何读取 unicode 文件。 许多标题为“在 python 中读取 unicode 文件的方法”的帖子实际上讲述了一种读取 UTF-8、UTF-16 等文件的方法。

为什么没有人解释读取 'UNICODE' 文件的方法？

这是我尝试使用 python 读取的文本文件的十六进制值示例。

这是韩语，“파이썬에서 한글 읽기”

(FF FE) 0C D3 74 C7 6C C3 D0 C5 1C C1 20 00 5C D5 00 AE 20 00 7D C7 30 AE

(FF FE) 表示字节顺序。 每 2 个字节表示字符。如您所见，空格写为“20 00”，而不是“20” 在 unicode 中，空格写为 '20 00'。但是UTF-8，空格写成'20'。

没有办法使用像“codecs.open('unicode2.txt',encoding='**unicode**')”这样的编解码器

真的没有办法在python中读取"unicode"文件吗？

Answer 1

磁盘文件是字节的序列，如果您使用字符编码（如utf-8、utf-16le），您可以将其解释为文本。 “unicode”不是字符编码。

There Ain't No Such Thing As Plain Text.

您的示例文件可能使用utf-16le 编码：

>>> text = u"파이썬"
>>> text.encode('utf-16le')
'\x0c\xd3t\xc7l\xc3'
>>> text.encode('utf-16le').encode('hex')
'0cd374c76cc3'

b'\xff\xfe' == codecs.BOM_UTF16_LE 是 UTF-16 (LE) 字符编码的 BOM。要读取此类文件，您可以使用 utf-16 编码（根据 BOM 选择 BE 或 LE）：

import codecs

with codecs.open('filename', encoding='utf-16') as file:
    text = file.read()