Python - for 循环产生刮取的数据，每页仅循环一次答案

【问题标题】：Python - for loop which yields scraped data only looping once per pagePython - for 循环产生刮取的数据，每页仅循环一次
【发布时间】：2017-12-17 16:47:54
【问题描述】：

为什么这个抓取代码只提取每个页面的第一个标题、作者和引用？（导致只有三行 csv 文件）？

我正在使用网络爬虫scrapy 并将数据加载到 csv 文件中。我正在使用 xpath，并且遇到了正确加载我的数据的问题。这是我第一次使用 python，我正在努力正确实现 enumerate/zip 函数。

import scrapy
class MySpider(scrapy.Spider):
name = 'test'
custom_settings = {
    'FEED_FORMAT': 'csv',
    'FEED_URI': 'test.csv'
}
start_urls = [
    'http://quotes.toscrape.com/', 
    'http://quotes.toscrape.com/page/2/',
    'http://quotes.toscrape.com/page/3/'
]
def parse(self, response):
    titles =  response.xpath("//div[contains(@class, 'col-md-4')]/h2/text()").extract()
    authors = response.xpath("//small[contains(@class, 'author')]/text()").extract()
    quotes = response.xpath("//div[contains(@class, 'quote')]/span[contains(@class, 'text')]/text()").extract()
    for i, (title, author, quote) in enumerate(zip(titles, authors, quotes)):
        yield {'index': i, 'title': title, 'author': author, 'quote': quote}

【问题讨论】：

标签： python csv for-loop scrapy enumerate

【解决方案1】：

这里的问题是zip只创建了与作为参数传递的最小列表相同数量的元素，在这种情况下titles只包含1元素，所以for只会迭代是正确的一次。

如果您希望所有元素都使用相同的标题，您应该只迭代 authors 和 quotes：

title =  response.xpath("//div[contains(@class, 'col-md-4')]/h2/text()").extract_first()
authors = response.xpath("//small[contains(@class, 'author')]/text()").extract()
quotes = response.xpath("//div[contains(@class, 'quote')]/span[contains(@class, 'text')]/text()").extract()
for i, (author, quote) in enumerate(zip(authors, quotes)):
    yield {'index': i, 'title': title, 'author': author, 'quote': quote}

【讨论】：