在 python 中使用 selenium 进行导航

Question

我正在使用 Python 和 Selenium 抓取这个网站。但它目前只抓取 7 月份的前 10 页，它将下一个按钮的上一个兄弟的页码转换为 int 并单击下一个 number_of_pages - 1 但是在到达第 10 页后它会停止。

网址 - https://planning.adur-worthing.gov.uk/online-applications/search.do?action=monthlyList

谁能帮我让它刮掉所有的页面？

def pagination( driver ):
   data = []
   last_element = driver.find_element_by_xpath('//a[ contains( concat( " ", normalize-space( @class ), " "), " next ") ]/preceding-sibling::a[1]')
   if last_element is None:
    number_of_pages = 1
else:
    number_of_pages = int( last_element.text )
# data = [ getData( driver ) ]
data.extend(getData(driver))
for i in range(number_of_pages - 1):
    driver.find_element_by_xpath('//a[ contains( concat( " ", normalize-space( @class ), " "), " next ") ]').click()
    data.extend( getData( driver ) )
    time.sleep(1)
return data

Answer 1

number_of_pages 的值似乎是 10。

找到另一种方法来找出有多少页。

您可以使用 while 循环来检查“下一页”按钮是否可用，如果可用，则继续，否则，即为最后一页。

像这样：

while next_button_element.is_displayed():
    // Do the action that is currently in the for loop

Answer 2

您可以使用的代码：

while True:
    data.extend(getData(driver))
    try:
        driver.find_element_by_css_selector('a.next').click()
    except:
        break

Answer 3

听着，我知道你从我的answer 中为你的上一个问题考虑了计算总页数的想法。在前一种情况下，因为我们可以直接获得最后一个页码，所以它可以工作，但这里不是这样。

解决方案：

虽然不能直接得到页数但是总条目数是-

现在，您可以在上面的屏幕截图中看到 7 月份的情况，这个数字是 174。假设您将分页长度（单页中的条目数）设置为默认 10，则页数应该是 18 （17 页，每页 10 个条目，其余 4 个条目额外增加一页）。

所以，计算页数的逻辑应该很简单。如果您以某种方式在total_entries 变量中获得了这个条目总数，那么页数应该是（取自this：

number_of_pages = (total_entries/10) + 1

默认情况下，Python 通过除法运算符返回下限整数，因此174/10 将返回17，添加+1 将返回18。所以你有它 - 18 作为页数。

现在，提取条目总数。您使用下面的定位器来查找包含它的 <span> 元素。

driver.find_element_by_xpath('//span[@class='showing']')

但是这个元素包含这样的文本 - Showing 1-10 of 174。您只需要整个字符串中的 174 部分。为此，首先提取“of”之后的字符串，然后将其转换为 int。

从文本中提取条目总数为 int 的算法：

showing_text = driver.find_element_by_xpath("//span[@class='showing']").text    #Showing 1-10 of 174
number_of_entries_text = showing_text.split("of",1)[1]        # 174 as text
number_of_entries = int( re.findall(r'\d+',number_of_entries_text)[0])  #174 as int
number_of_pages = (number_of_entries/10) + 1   #18

最终代码：

def pagination( driver ):
   data = []
   last_element = driver.find_element_by_xpath("//span[@class='showing']")
   if last_element is None:
      number_of_pages = 1
   else:
      showing_text = driver.find_element_by_xpath("//span[@class='showing']").text              number_of_entries_text = showing_text.split("of",1)[1]        
      number_of_entries = int( re.findall(r'\d+',number_of_entries_text)[0])  
      number_of_pages = (number_of_entries/10) +1   

   for i in range(number_of_pages - 1):
       driver.find_element_by_xpath('//a[ contains( concat( " ", normalize-space( @class ), " "), " next ") ]').click()
       time.sleep(1)

注意：

我认为我的解决方案更好，因为您不必反复检查任何可用的元素或捕获任何异常。您只需直接获取页数，然后多次单击下一步按钮即可。