将scrapy导出到csv

【问题标题】：Make scrapy export to csv将scrapy导出到csv
【发布时间】：2019-09-17 13:05:32
【问题描述】：

我想通过以下方式使用scrapy

from scrapy.crawler import CrawlerProcess

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)' })

process.crawl(my_super_scraper) 
process.start()

它适用于my_super_scraper，但我不知道如何导出为 CSV。我在文档中也找不到。

【问题讨论】：

标签： python scrapy

【解决方案1】：

您需要设置FEED_FORMAT和FEED_URI参数如下：

from scrapy.crawler import CrawlerProcess

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)', 
    'FEED_FORMAT': 'CSV', 
    'FEED_URI': 'file:///tmp/export.csv',
})

process.crawl(my_super_craper)
process.start()

更多关于 Feed 导出的信息在这里https://docs.scrapy.org/en/latest/topics/feed-exports.html

这篇文章展示了如何导出为 JSON 格式： Scrapy process.crawl() to export data to json

【讨论】：