scrapy：中间件/管道单实例

Question

我正在创建一个本地响应缓存，我正在为其创建一个 Pipeline，因为我需要根据从站点收集的 ID 存储项目的信息。

现在我还需要创建一个Downloader Middleware，因为根据我之前存储的 ID，我不想用新的Request 访问该站点，所以我在发送之前拦截了Request到服务器，检查该 ID 是否已存在于我的缓存中，如果存在，则仅从我的缓存中返回相同的项目。

现在你看到 Pipeline 和 Middleware 需要一起工作，所以分离看起来不是很干净（我也有两个变量，我想是唯一的），但是当我在他们的各自的设置：

DOWNLOADER_MIDDLEWARES = {
    'myproject.urlcache.CachePipelineMiddleware': 1,
}

ITEM_PIPELINES = {
    'myproject.urlcache.CachePipelineMiddleware': 800,
}

我得到两个不同的实例（检查构造函数上的日志消息，因此它被创建了两次）。

如何确保只创建一个实例并且不会与我的项目的Pipeline 和Downloader Middleware 功能发生冲突？

Answer 1

我刚刚意识到这是一个简单的Singleton 问题，scrapy 实际上可以与管道和中间件的相同实例一起使用。

我首先创建了这个Singleton 类：

class Singleton(type):
    _instances = {}

    def __call__(cls, *args, **kwargs):
        if cls not in cls._instances:
            cls._instances[cls] = super(Singleton, cls).__call__(*args, **kwargs)
        return cls._instances[cls]

然后，在管道/中间件的类上，我添加了以下内容：

class CachePipelineMiddleware(object):

    __metaclass__ = Singleton

    def process_item(self, item, spider):
        # it works as a Pipeline

    def process_request(self, request, spider):
        # it works as a Middleware