使用 Scrapy 从使用 java 脚本生成数据的网站获取信息

Question

我正在尝试使用 Scrapy 抓取网站，但是网站 URL 没有改变，页面是使用 java 脚本加载的。

这是我执行搜索之前网站和 URL 的外观：

这是我执行搜索后网站和 URL 的外观：

在这些条件下，我如何使用 Scrapy 从网站获取数据？

Answer 1

• 您需要分析网站如何加载数据。 也许您可以阅读 URL 和 HTTP 标头。
• 使用一些工具（如 POSTman）来模拟加载数据的过程。
• 使用 scrapy 实现流程。