我正在尝试从NYTimes.com 解码 HTML 条目，但我无法弄清楚我做错了什么。
举个例子：
"U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’"
我尝试过 BeautifulSoup、decode('iso-8859-1') 和 django.utils.encoding 的 smart_str 都没有成功。
【问题讨论】：
unescape()。
标签： python unicode character-encoding content-type beautifulsoup
试试这个：
import re
def _callback(matches):
id = matches.group(1)
try:
return unichr(int(id))
except:
return id
def decode_unicode_references(data):
return re.sub("&#(\d+)(;|(?=\s))", _callback, data)
data = "U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’"
print decode_unicode_references(data)
【讨论】：
  和   但随后它将在 int() 中崩溃 (2) 允许字符引用（它不是实体）以空格而不是 ';' 结尾看起来很宽容——你不应该提这个吗？ (3) 最后一部分写成 [;\s] 不是更好吗？
&# 开头的，但是是的，它应该是\d。关于允许它以空格结尾的第二点，应该注意的是，即使它不漂亮，它仍然受到支持。我已按以下方式更新了代码：(1) 将其更改为 \d，(2) 使回调更强大，以及 (3) 使用前瞻断言来结束空格，而不是像以前那样吸收它。
& 而不是 ;都给出了相同的结果：它们终止了引用并且没有被吞没。我期待着您更新的解决方案；-)
这确实有效：
from BeautifulSoup import BeautifulStoneSoup
s = "U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’"
decoded = BeautifulStoneSoup(s, convertEntities=BeautifulStoneSoup.HTML_ENTITIES)
如果您想要一个字符串而不是 Unicode 对象，您需要将其解码为支持所使用字符的编码； ISO-8859-1 没有：
result = decoded.encode("UTF-8")
不幸的是，您需要一个外部模块来完成这样的事情；简单的 HTML/XML 实体解码应该在标准库中，并且不需要我使用诸如“BeautifulStoneSoup”之类的无意义类名的库。 （类和函数名不应该是“创造性的”，它们应该是有意义的。）
【讨论】：
实际上你所拥有的并不是 HTML 实体。这些有三个品种......东西——例如      都表示 U+00A0 NO-BREAK SPACE。
 （您拥有的类型）是“数字字符引用”（十进制）。  是“数字字符引用”（十六进制）。  是一个实体。
延伸阅读：http://htmlhelp.com/reference/html40/entities/
您将在此处找到 Python2.x 的代码，该代码对输入进行三合一扫描：http://effbot.org/zone/re-sub.htm#unescape-html
【讨论】：
>>> from HTMLParser import HTMLParser
>>> print HTMLParser().unescape('U.S. Adviser’s Blunt Memo on Iraq: '
... 'Time ‘to Go Home’')
U.S. Adviser’s Blunt Memo on Iraq: Time ‘to Go Home’
该函数在 Python 2 中未记录。It is fixed in Python 3.4+：它公开为 html.unescape() there。
【讨论】：