Scrapy 有几个允许处理抓取数据的点/位置：spider、items 和 spider 中间件。但我不明白我应该在哪里做对。我可以在所有这些地方处理一些抓取的数据。你能详细解释一下它们之间的区别吗？
例如：下载器中间件向蜘蛛返回一些数据（数字、短字符串、url、大量HTML、列表等）。我应该在哪里处理它们？我知道该怎么做，但不清楚在哪里做......
【问题讨论】：
标签： python scrapy scrapy-spider scrapy-pipeline
Spiders 是您定义如何提取数据的主要点，如items。如有疑问，请仅在您的蜘蛛中实现您的提取逻辑，而无需考虑其他 Scrapy 功能。
Item loaders、item pipelines、downloader middlewares、spider middlewares 和 extensions 主要用于有多个爬虫的抓取项目中的代码共享。
如果您发现自己在两个或更多蜘蛛中重复相同的代码，并且您决定停止重复自己，那么您应该进入这些组件并选择使用哪些组件来简化您的代码库，以便将现有的重复代码移入这些类型的一个或多个组件。
这通常比简单地在 Spider 子类之间使用类继承更好。
关于如何使用各个组件：
Item loaders 用于共享提取逻辑（例如 XPath 和 CSS 选择器、正则表达式），以及字段值的预处理和后处理。
例如：
如果您想始终将项目字段的值切换为大写，您可以在项目加载器类上使用输出处理器，并在蜘蛛之间重用该项目加载器。
Item pipelines 用于项目的后处理（不仅仅是特定项目中的项目数据）。
常见的用例包括删除重复项（通过跟踪解析的每个项的唯一标识数据）或将项发送到数据库服务器或其他形式的存储（作为feed exports 的灵活替代方案）。
Downloader middlewares 用于关于处理响应请求的共享逻辑。
常见用例包括实施反机器人软件检测和处理或代理处理。 (built-in downloader middlewares)
Spider middlewares 用于蜘蛛之间的任何其他共享逻辑。它是蜘蛛基类的接近点。它可以处理来自蜘蛛的异常、初始请求等 (built-in spider middlewares)
Extensions 用于对 Scrapy 本身进行更一般的更改。 (built-in extensions)
【讨论】：
我会尽量按顺序解释
Spider 是您决定向哪些 URL 发出请求的地方
DownloadMiddleware 有一个 process_request 方法，在对 URL 发出请求之前调用它，它有一个 process_response 方法，一旦收到来自该 URL 的响应就会调用
管道是当您 yield 来自 Spider 的字典时发送数据的地方
【讨论】：