Scrapy：如何检查以前抓取的页面是否已被删除？答案

【问题标题】：Scrapy: how to check if a previously scraped page has been deleted?Scrapy：如何检查以前抓取的页面是否已被删除？
【发布时间】：2017-07-11 21:20:38
【问题描述】：

我制作了一个简单的 Scrapy 爬虫，用于获取我所在城市的房价广告。

它收集以下数据：广告标题、价格和 URL。然后输出一个 CSV 文件。

每周我都会运行爬虫，我希望它将最新的 CSV 文件与之前的文件进行比较，以检查是否有任何广告已被删除。如果有的话，我希望它在 CSV 文件输出的 LAST SEEN 列中包含今天的日期。

我不知道这是否可以使用 CSV 文件完成，或者这项工作是否需要数据库。我也不知道是否需要创建一个item pipeline。

这是我目前的蜘蛛代码。

import scrapy


class ExampleSpider(scrapy.Spider):
    name = 'example'

    start_urls = [
        'http://www.example.com/'
        ]

    def parse(self, response):
        for item in response.css('li.item a.list-link::attr(href)').extract():
            yield scrapy.Request(item, callback=self.parse_item)

        next_page = response.xpath('//a[@title="Next page"]/@href').extract_first()

        if next_page is not None:
            yield scrapy.Request(next_page, callback=self.parse)

    def parse_item(self, response):
        title = response.css('h1.ad-title::text').extract_first()
        price = response.css('span.price::text').extract_first()

        yield {
            'TITLE': title,
            'PRICE': price,
            'URL': response.url
        }

【问题讨论】：

你需要一个数据库

标签： python database csv web-scraping scrapy

【解决方案1】：

您可以使用 csv（或任何其他数据结构）来做到这一点。

假设你爬了两次，现在你必须归档：

$ cat items1.csv 
some_url, foo1, bar1
some_url2, foo2, bar2
some_url3, foo3, bar3

$ cat items2.csv 
some_url, foo1, bar1
some_url3, foo3, bar3

我们可以做的是从这些文件中加载所有 url，将值转换为 python sets 并在您的两组上调用 set.difference 以查看您的数据集有多么不同。

import csv
def read_file(filename)
    with open(filename, 'r') as csvfile:
        csvreader = csv.reader(csvfile)
        urls = [row[0] for row in csvreader]
        return set(urls)

urls1 = read_file('items1.csv') 
# returns {'some_url', 'some_url2', 'some_url3'}
urls2 = read_file('items2.csv') 
# returns {'some_url', 'some_url3'}

# find the difference
deleted_urls = urls1.difference(urls2)
#returns: {'some_url2'}

【讨论】：