Scraper 从众多名字中只得到几个名字

Question

我在 python 中结合 selenium 编写了一个爬虫，以从 redmart.com 获取所有产品名称。每次我运行我的代码时，我只从那个页面得到 27 个名字，尽管这个页面有很多名字。仅供参考，该页面已启用延迟加载方法。我的刮刀可以到达页面底部，但只能刮掉 27 个名字。我无法理解我在刮板中应用的逻辑迷失了哪里。希望得到任何解决方法。

这是我目前编写的脚本：

from selenium import webdriver; import time
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
wait = WebDriverWait(driver, 10)

driver.get("https://redmart.com/new")
check_height = driver.execute_script("return document.body.scrollHeight;")

while True:
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    try:
        wait.until(lambda driver: driver.execute_script("return document.body.scrollHeight;")  > check_height)
        check_height = driver.execute_script("return document.body.scrollHeight;") 
    except:
         break

for names in driver.find_elements_by_css_selector('.description'):
    item_name = names.find_element_by_css_selector('h4 a').text
    print(item_name)

driver.quit()

Answer 1

您必须等待加载新内容。

这是一个非常简单的例子：

    driver.get('https://redmart.com/new')
    products = driver.find_elements_by_xpath('//div[@class="description"]/h4/a')
    print(len(products))  # 18 products
    driver.execute_script('window.scrollTo(0,document.body.scrollHeight);')
    time.sleep(5)  # wait for new content to be loaded
    products = driver.find_elements_by_xpath('//div[@class="description"]/h4/a')
    print(len(products))  # 36 products

有效。

您还可以查看 XHR 请求并尝试在不使用“time.sleep()”和“driver.execute_script”的情况下抓取任何您想要的内容。

例如，在滚动他们的网站时，会从以下 URL 加载新产品： https://api.redmart.com/v1.6.0/catalog/search?q=new&pageSize=18&page=1

如您所见，可以修改 pageSize（最多 100 个产品）和 page 等参数。使用此 URL，您甚至可以在不使用 Selenium 和 Chrome 的情况下抓取所有产品。您可以通过Python Requests 完成所有这些操作