Python Scrapy 不提取数据

Question

完全免责声明 - 我不是程序员。我试图通过抓取以下网页 - https://www.essexapartmenthomes.com/apartments/bonita-cedars/floor-plans-and-pricing 来获得 12 个月的租金（目前为 1,976）。我的问题是，当我在 shell 终端中输入以下内容时，即使我期待某种信息，也没有返回任何结果。我认为从我看过的教程来看这会相对简单，但是这个网站的结构看起来不同（可能更复杂）。我使用 SelectorGadget 来验证 CSS 选择器是否正确。我错过了什么？

scrapy shell "https://www.essexapartmenthomes.com/apartments/bonita-cedars/floor-plans-and-pricing"
response.css('.pricing-list::text').extract()

Answer 1

这不会那么容易，因为链接页面严重依赖 JavaScript。你有两个选择：

• 加载页面后，您可以使用 splash 之类的渲染引擎渲染 JavaScript，看看是否可以提取数据
• 或者您可以查看站点使用哪些端点来获取您可以手动获取的数据。

无论哪种方式，它都不会像您想象的那么简单，咨询有经验的人可能是个好主意。