在 Scrapy 中将项目附加到 JSON 数组？答案

【问题标题】：Appending items to a JSON Array in Scrapy?在 Scrapy 中将项目附加到 JSON 数组？
【发布时间】：2014-02-20 12:13:46
【问题描述】：

我正在使用 python 框架 Scrapy 来抓取网站并将数据存储在 json 数组中。要存储数据，我使用以下命令：

scrapy crawl dmoz -o items.json -t json

每次我调用这个命令时，它都会在文件中创建一个新的 JSON 数组。有没有办法简单地追加到文件中已经存在的 JSON 数组？

我意识到 Scrapy 提供了将项目发送到特定文件格式的导出功能，但是我一直在努力让它像运行上述命令时一样有效地工作。

【问题讨论】：

【解决方案1】：

你可以使用JSON lines format

scrapy crawl dmoz -o items.jsonl -t jsonlines

这样 scrapy 应该将项目附加为 JSON 对象的行

【讨论】：