在python中使用scrapy来抓取需要向下滚动的数据

Question

我有一个在 python 中与 scrapy 一起扔的抓取项目。现在，我遇到了某些数据，这些数据仅在用户向下滚动时才加载到页面上。如何在我的 scrapy 蜘蛛中模拟这个？

Answer 1

• 在 Google Chrome 或类似工具中检查页面 (Press F12)。
• 点击Network 标签。
• 在页面上向下滚动，直到呈现新数据。
• 在浏览器中呈现新数据的同时，您应该会在检查面板中看到一个新文件弹出。
• 文件可以是任何内容，具体取决于站点，但大多数情况下是 JSON。
• 点击检查面板中的文件并复制Request URL。
• 回到scrapy，你可以向这个URL发送一个请求来获取动态渲染的数据。