分页 <a> 标记单击 selenium 未加载但正常 webdriver.get（分页链接）有效？

Question

我正在尝试单击分页链接，但我的请求被阻止了，但是当我直接将分页链接与 driver.get("justdial.com/Delhi/Grocery-Stores/page-2") 一起使用时，它可以工作，你能告诉我为什么点击分页不起作用是什么问题吗？我错过了一些标题或者什么，谢谢你的耐心

这是我打开浏览器和链接的方法：

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager

driver = webdriver.Chrome(ChromeDriverManager().install())
import pandas as pd
import time
import os
 
# driver.get method() will navigate to a page given by the URL address
driver.get("https://www.justdial.com/Delhi/Grocery-Stores")
# my logic here sleep , scrape , etc and at end click on pagination link
driver.find_element_by_link_text(str(page_count)).send_keys(Keys.RETURN)
time.sleep(PAGE_PAUSE_TIME)

是的，这点击了正确的元素和链接，但页面显示发生了一些错误，但同一页面在我的普通浏览器上运行良好

Answer 1

位于可见屏幕视图之外的下一页。
所以你必须滚动到它才能点击它。
但是这个特定站点还有其他困难。
当您向下滚动时，它会加载其他元素，因此下一页按钮将再次出现在可见屏幕之外。
您可以通过多种方式解决此问题。
第一个不推荐，但更简单。
您可以使用 JavaScript 执行器单击下一页元素，如下所示：

next_page = driver.find_element_by_css_selector("a[rel=next]")
driver.execute_script("arguments[0].click();", next_page)

更复杂的方法是滚动页面直到下一个页面元素变得可见，然后单击它。
像这样的：

next_page = driver.find_element_by_css_selector("a[rel=next]")
while not next_page.is_displayed():
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(1)
next_page.click()