scrapy使用Request抓取多个页面

Question

我关注了document

但仍然无法爬取多个页面。

我的代码是这样的：

def parse(self, response):
        for thing in response.xpath('//article'):
            item = MyItem()
            request = scrapy.Request(link,
                                     callback=self.parse_detail)
            request.meta['item'] = item
            yield request

def parse_detail(self, response):
        print "here\n"
        item = response.meta['item']
        item['test'] = "test"
        yield item

运行此代码不会调用 parse_detail 函数，也不会抓取任何数据。任何的想法？谢谢！

Answer 1

我发现如果我注释掉 allowed_domains 它将起作用。但这没有意义，因为链接肯定属于 allowed_domains 。