Scrapy：将来自不同链接的抓取数据关联到 1 个项目/模型

Question

考虑到我有 3 个链接 A、B、C：

A 和B 是指向网页的链接，C 是指向需要下载的文件的链接。

我的刮刀目前是这样做的：

1. 从页面A：提取元数据，提取到页面B的链接
2. 来自页面B：提取下载链接C
3. 来自C：下载/保存文件

Note1：我使用 3 个不同的 Rules 来提取 A 链接、B 链接和 C 链接

问题 问题是，我不知道如何将项目（来自页面A 的元数据）与来自链接C 的下载文件相关联。

目前在Rule的解析回调方法中为A链接创建了一个项目，文件保存在C链接的回调方法中

一个项目和/或模型，（我使用 SQLALchemy 存储在数据库中，使用管道）需要包含元数据 + 下载文件的名称。

有人知道如何将元数据与下载文件的名称相关联吗？

注意2：我使用规则系统是因为它可以很容易地用新规则进行扩展，并且这些规则可以在其他蜘蛛中重复使用。

Answer 1

我认为这种方法是近似的：

def parse(self, response):
    sel = Selector(response)

    if response.url = 'link_to_A':
        i = new Item()
        i['meta_1'] = sel.xpath('//selector')
        i['meta_2'] = sel.xpath('//selector')

        link_to_B = sel.xpath('//selector')

        yield Request(url=link_to_B, meta={'item': i})

    elif response.url = 'link_to_B':
        i = response.request.meta['item']
        i['link_file'] = sel.xpath('//selector')

        return i