Unicode vs 编码 python 文本处理

Question

我正在对从网络上抓取的文本进行一些文本处理。我之前在考虑解码原始文本

raw_html=  raw_html.decode("iso-8859-1")

后来编码为 UTF，所以我不会遇到编码问题...

raw_html=  raw_html.encode("UTF-8")

问题是，尽管知道网页编码，但我在解码部分不断收到错误...

UnicodeEncodeError: 'ascii' codec can't encode character u'\u20ac' in position 302: ordinal not in range(128)

我将处理多种语言，但不会处理太多网页（因此我的想法是手动设置编码）。我希望能够将所有语言（英语、法语、西班牙语、葡萄牙语）转换为一个共同的基础来使用。你有什么建议？

Answer 1

如果raw_html.decode() 给您一个encoding 异常，那么它是已经 Unicode：

>>> u'é'.decode('latin1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe9' in position 0: ordinal not in range(128)

因为 Python 2 在尝试“解码”Unicode 值时会隐式首先尝试编码（使用默认的 ASCII 编解码器）。