scrapy-elasticsearch 管道仅适用于特定项目

Question

我想在我的 scrapy 项目中使用 scrapy-elasticsearch 管道。在这个项目中，我有不同的项目/模型。这些项目存储在 mysql 服务器中。此外，我想在 ElasticSearchServer 中索引其中一项。

然而，在文档中，我只能找到索引所有已定义项目的方法，就像下面的 settings.py 中的代码示例一样。

ELASTICSEARCH_INDEX = 'scrapy'
ELASTICSEARCH_TYPE = 'items'
ELASTICSEARCH_UNIQ_KEY = 'url'

如您所见，ELASTICSEARCH_TYPE 表明所有项目都必须编入索引。是否有可能将其限制为仅一项？

Answer 1

current implementation 不支持只发送部分物品。

您可以创建原始管道的子类并覆盖 process_item 方法以执行您想要的操作。

如果您有时间，您还可以向上游发送一个拉取请求，其中包含一个允许在将项目发送到 Elasticsearch 之前对其进行过滤的提议。