【问题标题】:How to stop scrapy from overriding CSV export file after every crawl每次抓取后如何阻止scrapy覆盖CSV导出文件
【发布时间】:2012-07-18 21:59:14
【问题描述】:

目前,我使用 scrapy 抓取网页的多个页面并将数据导出到 CSV 文件。每天,蜘蛛都会爬取页面并保存数据;但是,它将覆盖前几天的数据。我想知道如何对管道进行编程,以便它从文件末尾开始写入同一个文件中的 CSV。这样我就可以将以前抓取的所有数据保存在一个地方。

【问题讨论】:

  • 在我们修复您的代码之前需要查看一些代码!

标签: python scrapy


【解决方案1】:

通常只需将打开文件例程中的参数更改为追加

改变

f = open('filename.txt','w')

f = open('filename.txt','a')

当然,如果我们能看到您的原始代码,这将有助于我们更加具体。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-07-11
    • 2017-09-22
    • 1970-01-01
    • 2020-07-17
    • 1970-01-01
    • 1970-01-01
    • 2018-03-30
    • 1970-01-01
    相关资源
    最近更新 更多