重音字符的另一个编码问题（使用 Python 和 BeautifulSoup 抓取网站）

Question

（前言：我知道，这个问题已经讲了一百遍了，但我还是不明白）

我正在尝试加载一个 html 页面并输出文本，即使我正确获取了网页，BeautifulSoup 以某种方式破坏了不属于前 127 个 ASCII 字符的重音字符的编码：

# -*- coding: utf-8 -*-
import sys
from urllib import urlencode
from urlparse import parse_qsl
import re
import urlparse
import json
import urllib
from bs4 import BeautifulSoup

url = "http://www.rtve.es/alacarta/interno/contenttable.shtml?ctx=29010&locale=es&module=&orderCriteria=DESC&pageSize=15&mode=TEXT&seasonFilter=40015"
html=urllib2.urlopen(url).read()
soup = BeautifulSoup(html)
div = soup.find_all("span", class_="detalle")
capitulo_detalle = div[0].text   (doesn't work, capitulo_detalle is type str with utf-8, div[0].tex is type unicode)

div[0].text 的输出应该类似于：

Sátur se dirige al sur en busca de Estuarda y Gabi, pero un compañero de viaje inesperado hará que cambie德伦博。 Los hombres de Juan siguen presos。 El enemigo comienza a realizar ejecuciones。 Águila Roja tiene...

但我得到的结果是：

u'S\xe1tur se dirige al sur en busca de Estuarda y Gabi, pero un compa\xf1ero de viaje inesperado har\xe1 que cambie de rumbo。胡安·西根·普雷索斯 . El enemigo comienza a realizar ejecuciones。 \xc1guila Roja tiene...'

--> 要获得“正确”的字符，我必须进行哪些更改？

我知道它一定是这些问题的重复，但答案似乎在这里不起作用： Python and BeautifulSoup encoding issues How to correctly parse UTF-8 encoded HTML to Unicode strings with BeautifulSoup?

我还阅读了有关 unicode、utf-8、ascii 的典型文档，例如https://docs.python.org/3/howto/unicode.html，显然没有成功……

Answer 1

我相信我终于明白了......

>>> div = soup.find("span", class_="detalle")
>>> div.text
u'S\xe1tur se dirige al sur en busca de Estuarda y Gabi, pero

---> 这是 unicode，\xe1 是 'á' 的'code' (http://www.utf8-chartable.de/unicode-utf8-table.pl?start=4096&number=128&names=-&utf8=string-literal)

>>> print(div.text)
Sátur se dirige al sur en busca de Estuarda y Gabi, pero

---> 'print' 正确评估 unicode 代码点

>>> div.text.encode('utf-8')
'S\xc3\xa1tur se dirige al sur en busca de Estuarda y Gabi, pero

---> 根据上面引用的 url 上给出的表格，Unicode 被编码为 utf-8。我不明白为什么输出显示为 \xc3\xa1 而不是'á'。

>>> print div.text.encode('utf-8')
Sátur se dirige al sur en busca de Estuarda y Gabi, pero

--->我不明白为什么 print 现在将它评估为一个奇怪的符号....

>>> blurr = div.text.encode('cp850')
>>> blurr
'S\xa0tur se dirige al sur en busca de Estuarda y Gabi, pero
>>> type(blurr)
<type 'str'>

---> Unicode 编码为代码页 850，在 Windows 下的 python-shell 中使用

>>> print(blurr)
Sátur se dirige al sur en busca de Estuarda y Gabi, pero

--->终于对了！！！

在 Kodi 中，我可以使用 utf-8 表示，例如字符 'á' 在变量中保存为 \xc3\xa1，但是当变量的内容显示为例如“xbmcgui.Dialog().ok(addonname, blurr) 时，它会正确显示在屏幕上，并带有'á'......

Und sowas soll man wissen......

Answer 2

import requests
from bs4 import BeautifulSoup

url = "http://www.rtve.es/alacarta/interno/contenttable.shtml?ctx=29010&locale=es&module=&orderCriteria=DESC&pageSize=15&mode=TEXT&seasonFilter=40015"
html=requests.get(url)
soup = BeautifulSoup(html.text, 'lxml')
div = soup.find("span", class_="detalle")
capitulo_detalle = div.text 

出来：

'Sátur se dirige al sur en busca de Estuarda y Gabi, pero un compañero de viaje inesperado hará que cambie de rumbo. Los hombres de Juan siguen presos. El enemigo comienza a realizar ejecuciones. Águila Roja tiene...'

使用requests和python3，问题永远不会出现