Scrapy - 如何将 json 文件同时保存在 S3 和本地文件系统中

Question

我已经设置了将json 保存在S3 存储桶中的设置。但如果可能的话，我也想保存在我的本地机器中。

我尝试了下面的配置，但Scrapy只保存在本地机器中。

FEED_URI = 's3://bucket/scraped/file.jl'
FEED_URI = 'file:///tmp/file.jl'

我不太了解Scrapy docs here 解释的设置

Answer 1

Scrapy 的提要导出扩展不支持同时将项目发送到两个地方。

您的设置中的FEED_URI 只是一个 Python 变量，所以它只保存在您的本地计算机中的原因是因为它被第二次覆盖了。

您可以通过使用 FEED_URI 将项目发送到 S3 并编写一个在本地保存项目的管道来解决此问题。