无法使用 python selenium 抓取下一页（分页）

Question

我试图从 konga.com 抓取数据。但我能够刮掉第一页，但第二页出现问题。我还复制了网站第 2 页的 URL，但它确实有效。 代码如下：

from selenium import webdriver
import time

browser = webdriver.Chrome(executable_path='C:\Python27\Scripts\chromedriver.exe')

for i in range(1,50):
   y= '%0d'%i
   url="https://www.konga.com/category/electronics-5261?"+ "page="+'%0d'%i
   print url
   browser.get("url")


p=browser.find_elements_by_xpath ("//div[@class='af885_1iPzH']/h3")

for a in p:
        print '.........page'+ str(i)+ '..........' 
        print a.text

Answer 1

你很亲密。问题是您试图在实际加载到页面之前找到类名。与分页链接相同。看起来这些元素在页面加载之前的几秒钟内没有完全加载。您需要做的是让您的网络驱动程序等待几秒钟，直到使用 WebDriverWait 方法看到该元素：

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
import time

chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--hide-scrollbars')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument("--log-level=3")  # fatal


page = 0

browser = webdriver.Chrome(executable_path=r'C:\Users\edekio\Downloads\chromedriver.exe', chrome_options=chrome_options)

url = "https://www.konga.com/category/electronics-5261"
browser.get(url)

while page < 51:

    page = page + 1


    next_page = WebDriverWait(browser, 15).until(EC.presence_of_element_located((By.LINK_TEXT, str(page))))
    next_page.click()


    print("page " + str(page))

    element = WebDriverWait(browser, 15).until(
        EC.presence_of_element_located((By.CLASS_NAME, "af885_1iPzH")))
    print(element.text)

前 3 页的输出：

page 1
Q18 Smartwatch - Silver
page 2
Zealot S12 Bluetooth Wireless Speaker...
page 3
I8 Tws Wireless Earbuds - White

这是用 python 3.6 编写的。看起来您使用的是 python 2.x，但如果它不适用于您的版本，您可以使用在线转换器。我建议将 Selenium 升级到 python 3.6，因为我不知道它们的所有功能是否都适用于 Python 2.x