使用 BeautifulSoup 从 html 中抓取特定数据

Question

我试图在以下链接中获得少数产品的最佳搜索结果位置

https://www.purplle.com/search?q=hair%20fall%20shamboo

我使用以下工具从页面获取 html 详细信息 ++

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.purplle.com/search?q=hair%20fall%20shamboo")
from bs4 import BeautifulSoup
soup = BeautifulSoup(driver.page_source, 'html.parser')
driver.quit()

++

现在我很困惑如何从此 html 中获取产品名称和位置（以在搜索中获得最佳排名）。

我使用下面的方法来获取产品的详细信息，但输出也有很多不需要的东西。

details = soup.find('div', attrs={'class': 'pr'})

知道如何解决这个问题吗？

Answer 1

我不知道你所说的职位是什么意思。但是，以下脚本可以从该页面获取不同产品的标题及其位置（据称）：

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Chrome()
driver.get("https://www.purplle.com/search?q=hair%20fall%20shamboo")

soup = BeautifulSoup(driver.page_source, 'html.parser')
for item in soup.find_all(class_="prd-lstng pr"):
    name = item.find_all(class_="pro-name el2")[0].text
    position = item.find_all(class_="mrl5 tx-std30")[0].text
    print(name,position)

driver.quit()