Scrapy Json 规则 SgmlLink 提取器

Question

我只想知道当网站向我发送 json 响应而不是 html 时如何制定规则？在开始 url 第一个响应中，它给了我一个 html 响应，但是当我浏览页面时，它给了我 json 响应。这是我的规则：

 Rule(SgmlLinkExtractor(restrict_xpaths=('//div[@class="GridTimeline-items"]'), tags=('div'),
                                   attrs=('data-min-position'), allow=(r''), process_value=my_process_value_friends),
                                    callback='parse_friends', follow=True),

我的问题是，如何将 xpath 应用于 json 响应？

谢谢，

Answer 1

您不能使用 xpath 或 css 选择器解析 json。但是，您可以将 json 转换为 python 字典：

import json
def parse(self, response):
    data = json.loads(response.body)
    # then just parse it, e.g.
    item = dict()
    item['name'] = data['name']
    # ...

或者您可以将 json 转换为 xml，然后使用 scrapy 选择器对其进行解析。有很多软件包可以做到这一点，但我会在示例中突出显示 dicttoxml：

import json
from dicttoxml import dicttoxml
from scrapy import Selector
def parse(self, response):
    data = json.loads(response.body)
    data_xml = dicttoxml(data)
    sel = Selector(root=data_xml)
    # then parse it
    item = dict()
    item['name'] = sel.xpath("//name/text()")
    # ...