Scrapy - 在关注链接时保存链接

Question

我对 Python 和 Scrapy 还很陌生，我认为答案应该很简单，但我自己很难弄清楚这一点。代码获取所有链接，跟随它们并记录文章的标题。我如何传递获取到我的项目的 url？我想将它使用的短链接与文章标题一起保存。谢谢

def parse(self, response):
    for url in response.xpath("//li[@id]/@data-shortlink").extract():
        yield scrapy.Request(url, callback=self.get_details)

def get_details(self, response):
        article = ArticleItem()
        article['title'] = response.xpath("//h1/text()").extract()
        yield article

Answer 1

由于它包含在Response() object 中，您可以使用response.url 获取网址：

def get_details(self, response):
        article = ArticleItem()
        article['title'] = response.xpath("//h1/text()").extract()
        article['url'] = response.url
        yield article