处理响应编码的请求[重复]

Question

我正在使用requests 请求页面。任务很简单，但是编码有问题。该页面包含非ascii，土耳其语字符，但在HTML源中，结果如下：

ÇINARTEPE # What it looks like
ÇINARTEPE # What it is like in HTML source

所以，下面的操作没有返回我预期的结果：

# What I have tried as encoding
req.encoding = "utf-8"
req.encoding = "iso-8859-9"
req.encoding = "iso-8859-1"

# The operations
"ÇINARTEPE" in req.text # False, it must return True
bytes("ÇINARTEPE", "utf-8") in req.content # False
bytes("ÇINARTEPE", "iso-8859-9") in req.content # False
bytes("ÇINARTEPE", "iso-8859-1") in req.content # False

我只想找出 "ÇINARTEPE" 字符串是否在 HTML 源代码中。

更多信息

一个例子：

req = requests.get("http://www.eshot.gov.tr/tr/OtobusumNerede/290")
"ÇINARTEPE" in req.text # False
req.encoding = "iso-8859-1"
"ÇINARTEPE" in req.text # False
req.encoding = "iso-8859-9"
"ÇINARTEPE" in req.text # False
# Supposed to return True

---

环境

• python 3.5.1
• 请求 2.10.0

Answer 1

您需要做的是取消转义 HTML 中的 HTML 代码。 stackoverflow 中已经有一些答案，请查看this post。

但基本上一种方法是

from HTMLParser import HTMLParser
parser = HTMLParser()
html_decoded_string = parser.unescape(html_encoded_string)

更新

从 python3 docs 得到了更好的答案并经过测试

>>> import html
>>> html.unescape("ÇINARTEPE")
'ÇINARTEPE'