【发布时间】：2012-01-23 09:07:47
【问题描述】：
如何将整个抓取的数据存储在文件中？ eg：抓取的数据是[u\ 7564.2021]，但是json文件中存储的数据只有[
哪里出错了？
【问题讨论】：
-
在你的爬虫执行过程中，你有没有出现异常？你真的使用 JSON 导出器吗？你真的产生/退回你的报废物品吗？ ...例如：查看您的代码和scrapy输出会很有用。
【发布时间】：2012-01-23 09:07:47
【问题描述】：
我找到了这个帖子，因为我在使用scrapy命令行导出选项时遇到了这个确切的问题（在scrapy 0.15.1概述中找到这个：http://readthedocs.org/docs/scrapy/en/latest/intro/overview.html?highlight=Rule#run-the-spider-to-extract-the-data），“scrapy crawl mininova.org -o scraped_data.json -t json” .
您必须首先确保数据实际上是从网站上抓取的（我通过将抓取的项目直接打印到控制台窗口来做到这一点）。
还要确保蜘蛛的 parse 方法确实返回了抓取的项目。这是我犯的愚蠢错误。
如果没有更多信息或您的代码，很难说更多。我是 Python 新手，我自己也很讨厌，并且正在研究有时令人困惑的文档和示例。希望你在过去的几个月里没有放弃这个项目；否则我会为未来的谷歌员工发帖。
【讨论】：