无法在scrapy中将unicode转换为json

Question

import scrapy
import json
class GettingtonDSpider(scrapy.Spider):
    name = "gettington_d"
    allowed_domains = ["gettington.com"]
    start_urls = ['https://api.gettington.com/v1/products?showMPP=false&rows=24&q=Keyword:south%20shore%20furniture&productfilter=null&callback=searchCallback']
    def parse(self, response):
    jsonresp = json.dumps(response.body)
    jsonresp= json.loads(jsonresp)

我尝试了很多方法，但都失败了：

• response.text
• 编码('utf-8')
• response_body_as_unicode

以上都不起作用。错误如何解决？

Answer 1

您必须首先从response.body 中删除不必要的信息，这不是 JSON 可序列化的：

import re

    ...
    json_string = re.search(r'searchCallback\((.*)\)', response.body).group(1);
    jsonresp = json.loads(json_string)

现在您在jsonresp 中有一个dict