Python：当我使用 requests.get('url') 并打印 r.text 时返回什么？

Question

我正在尝试抓取this webpage。此代码有效：

import requests
header = {
   'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:32.0) Gecko/20100101 Firefox/32.0',
}
r = requests.get('http://www.machinefinder.com/ww/en-US/categories/used-drawn-planters', headers=header)
print r.text

但我不确定它返回的文本到底是什么。我希望它是 JSON，这样我就可以复制我发现的解析 JSON 的其他示例。

注意：我的工作安全阻止了网页，并在我使用时显示“非法 Web 浏览器”

header={ 
            'Content-Type': 'application/json;charset=UTF-8', 
        } 

这就是我改用 Firefox 的原因。

Answer 1

>>>>type(r.text) 
<type 'unicode'>

看起来是页面的 html。你可以使用 Beautiful soup 来解析它 :https://www.crummy.com/software/BeautifulSoup/bs3/documentation.html

Answer 2

您无法让任意网站返回 JSON 格式化数据，除非它提供了请求（并返回......）JSON 格式化数据的方法。

r.text 通常会保存网站的源代码，除非再次明确返回JSON 数据。

因此，您将不得不求助于其他解析网站的方法，例如 BeautifulSoup。