Python/Feedparser：读取 RSS 提要失败

Question

我正在使用feedparser 来获取 RSS 提要数据。对于大多数工作正常的 RSS 提要。但是，我知道偶然发现了一个获取 RSS 提要失败的网站 (example feed)。返回结果不包含预期的键，值是一些 HTML 代码。

我尝试使用 urllib2.Request(url) 简单地读取提要 URL。这将失败并出现HTTP Error 405: Not Allowed 错误。如果我添加一个自定义标题，例如

headers = {
    'Content-type' : 'text/xml',
    'User-Agent': 'Mozilla/5.0 (X11; Linux i586; rv:31.0) Gecko/20100101 Firefox/31.0',
}

request = urllib2.Request(url)

我不再收到 405 错误，但返回的内容是一个带有一些 HEAD 标记和一个基本上为空的 BODY 的 HTML 文档。在浏览器中一切看起来都很好，当我查看“查看页面源代码”时也是如此。 feedparser.parse 也允许设置agent 和request_headers，我尝试了各种代理。我仍然无法正确读取 XML，更不用说来自 feedparse 的解析提要了。

我在这里错过了什么？

Answer 1

因此，当发出请求的客户端未使用 User-Agent 时，此提要会产生 405 错误。试试这个：

$ curl 'http://www.propertyguru.com.sg/rss' -H 'User-Agent: hum' -o /dev/null -D- -s
HTTP/1.1 200 OK
Server: nginx
Date: Thu, 21 May 2015 15:48:44 GMT
Content-Type: application/xml; charset=utf-8
Content-Length: 24616
Connection: keep-alive
Vary: Accept-Encoding
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Pragma: no-cache
Vary: Accept-Encoding

在没有 UA 的情况下，您会得到：

$ curl 'http://www.propertyguru.com.sg/rss' -o /dev/null -D- -s
HTTP/1.1 405 Not Allowed
Server: nginx
Date: Thu, 21 May 2015 15:49:20 GMT
Content-Type: text/html
Transfer-Encoding: chunked
Connection: keep-alive
Vary: Accept-Encoding
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Pragma: no-cache
Vary: Accept-Encoding