抓取 JSON 响应

Question

我在 Scrapy 中抓取 json 响应时遇到问题。我收到以下错误：

TypeError：JSON 对象必须是 str，而不是 'Response'

我尝试通过导入编解码器并解码对 utf-8 的响应使用以下方法对其进行解码，但由于某种原因它无法正常工作。代码：

import scrapy
import json

class SrealitkyBuySpiderSpider(scrapy.Spider):
    name = "srealitky_buy"
    allowed_domains = ["https://www.sreality.cz/"]
    start_urls = ['https://www.sreality.cz/api/cs/v2/estates?category_main_cb=1&category_type_cb=1&per_page=20&region=Praha']

    def parse(self, response):
        jsonresponse = json.loads(response)
        print(jsonresponse)

我也尝试在使用 json.loads 时将 .text 添加到响应中，但随后出现“响应没有属性 'text'”的错误。

jsonresponse = json.loads(response.text)

有谁知道怎么回事？

Answer 1

如果您查看type(response)，它将是scrapy.http.response.text.TextResponse

而response.body 将给b'{"meta_description": "5192 realit v nab\\u00eddce prodej byt\\u016f, .... "collective"}}'

所以你需要使用

jsonresponse = json.loads(response.body)
print(jsonresponse["meta_description"])
'5192 realit v nabídce prodej bytů, Praha. Vyberte si novou nemovitost na sreality.cz s hledáním na mapě a velkými náhledy fotografií nabízených bytů.'

Edit-1

如果上面因为 Python 版本对你不起作用，请尝试下面

jsonresponse = json.loads(response.body.decode("utf-8"))