【发布时间】：2021-05-13 09:26:36
【问题描述】：
我试图使用 scrapy 从 Flipkart.com 抓取一些数据。 除了转到下一页之外，我得到了所有内容。 首先我尝试使用scrapy，然后是selenium。 实际上，一个类有上一页和下一页的 2 个链接。
使用scrapy： 我无法获取任何结果。我得到的是空白输出。
与硒： 每当我尝试单击下一页时，它从第 1 页到第 2 页都可以正常工作。 但随后它没有进入第 3 页，而是回到了第 2 页。
还有其他方法可以做到这一点吗？ 如何区分上一页和下一页的网址？
【问题讨论】：
-
请分享您的代码
-
可以直接在网址中更改页码：
https://www.flipkart.com/...&page=3。 -
我建议像@YevhenKuzmovych 所说的那样更改URL（最好使用scrapy），因为每次单击下一步时元素的xpath 可能会发生变化。 xpath 也可能因产品类别而异
-
感谢@YevhenKuzmovych 它正在工作......
标签： python selenium web-scraping scrapy data-mining