将变量传递给 Scrapy 中的 SplashRequest 回调函数答案

【问题标题】：Passing variable to SplashRequest callback function in Scrapy将变量传递给 Scrapy 中的 SplashRequest 回调函数
【发布时间】：2021-07-26 18:31:22
【问题描述】：

我有一个迷你项目，其中第一页上有一个 URL 列表，然后我必须按照这些 URL 列表中的每个 URL 并使用 SplashRequest 打开每个 URL，因为我需要返回的页面与其一起呈现JavaScript 组件。

现在，我对所有这些网络抓取和 scrapy-splash 还是很陌生，但基本上我目前陷入困境，因为我正在尝试弄清楚如何将变量传递给回调使用 SplashRequest 时的功能。基本上，我不知道如何将变量传递给我们下面的回调函数：

  yield SplashRequest(url=someUrl,callback=theCallBackFunction,args={
               //some args
            })

我知道对于没有 Splash 的普通 Scrapy，我们可以说

yield response.follow(url=someUrl,callback=theCallBackFunction,meta={
     //some variables we want to pass to callback function
}

但我不知道如何使用 Scrapy-Splash 来做到这一点。

是的，向在这方面更有经验的人寻求帮助。

提前致谢！

【问题讨论】：

标签： python variables callback scrapy splash-screen

【解决方案1】：

自己找到了答案，显然 SplashRequest 也像 response.follow 一样将 meta 作为其参数，因此将变量传递给回调函数的机制是和使用普通的scrapy完全一样。

【讨论】：