使用 selenium 和 python python 抓取所有亚马逊产品名称答案

【问题标题】：Scrape allAmazon product names using selenium and python python使用 selenium 和 python python 抓取所有亚马逊产品名称
【发布时间】：2022-11-03 19:06:38
【问题描述】：

我正在尝试使用 selenium 和 python 从 https://www.amazon.com/Best-Sellers-Electronics-Televisions/zgbs/electronics/172659 这个 url 中抓取产品名称。我使用了 css 选择器和 xpath，虽然页面中有 50 个产品，但在我收到错误之后，大约 30 个产品名称被刮掉了，但没有找到元素。 xpath 没有问题。

在找到元素之前，我尝试过使用睡眠。它没有用。

请告诉我如何刮取所有 50 种产品的标题。提前致谢。

尝试使用 sleep 并使用滚动到视图 windows.scrollto document.body 。高度。没有任何效果

【问题讨论】：

帮助我们帮助您 - 请改进您的问题，以便我们可以轻松地重现您的问题。花点时间检查一下 - 如何创建 minimal reproducible example 谢谢

标签： python selenium web-scraping

【解决方案1】：

我认为这是因为初始加载只有 30 个产品。其他 20 个仅在页面滚动到底部时加载。

driver.execute_script("window.scrollTo(0,Math.max(document.documentElement.scrollHeight," + "document.body.scrollHeight,document.documentElement.clientHeight));");
items = driver.find_elements(By.XPATH, "//div[@id='gridItemRoot']//a/span/div")

这为我挑选了 50 件物品。

【讨论】：