【发布时间】:2021-09-20 14:16:30
【问题描述】:
我正在从以下网站抓取数据:https://www.nike.com/w/sale-3yaep ..
我目前正在提取页面上显示的每个产品的 URL。我的问题是针对具有多个瓷砖(即多种颜色)的产品,我无法获取其他颜色的信息。例如,如果您找到具有多种颜色的产品并检查产品的 html - 您可以将鼠标悬停在图片上,并在悬停在不同颜色上时看到 URL 的变化。
所以问题是 HTML 将只包含默认产品的产品 URL 的详细信息。是否有任何解决方法可以从具有多种颜色的产品中获取数据?
代码如下:
pages = 'https://www.nike.com/w/sale-3yaep'
page = requests.get(pages,verify=False)
soup = BeautifulSoup(page.content, 'html.parser')
for prod in soup.find_all('div', {'class':'product-card__body'}):
prod_tag = prod.find('a')
link = str(prod_tag['href'])
【问题讨论】:
标签: python beautifulsoup