【发布时间】:2012-07-18 21:59:14
【问题描述】:
目前,我使用 scrapy 抓取网页的多个页面并将数据导出到 CSV 文件。每天,蜘蛛都会爬取页面并保存数据;但是,它将覆盖前几天的数据。我想知道如何对管道进行编程,以便它从文件末尾开始写入同一个文件中的 CSV。这样我就可以将以前抓取的所有数据保存在一个地方。
【问题讨论】:
-
在我们修复您的代码之前需要查看一些代码!
目前,我使用 scrapy 抓取网页的多个页面并将数据导出到 CSV 文件。每天,蜘蛛都会爬取页面并保存数据;但是,它将覆盖前几天的数据。我想知道如何对管道进行编程,以便它从文件末尾开始写入同一个文件中的 CSV。这样我就可以将以前抓取的所有数据保存在一个地方。
【问题讨论】:
通常只需将打开文件例程中的参数更改为追加
改变
f = open('filename.txt','w')
到
f = open('filename.txt','a')
当然,如果我们能看到您的原始代码,这将有助于我们更加具体。
【讨论】: