BeautifulSoup 没有显示标签中的所有元素

Question

我正在尝试解析 this website 并使用 BeautifulSoup.find 在内容框 card__body 中获取有关 auto 的信息，但它没有找到所有类。我也试过webdriver.PhantomJS()，但也没有显示。

这是我的代码：

from bs4 import BeautifulSoup
from selenium import webdriver

url='http://www.autobody.ru/catalog/10230/217881/'

browser = webdriver.PhantomJS()
browser.get(url)
html = browser.page_source

soup = BeautifulSoup(html, 'html5lib') 
JTitems = soup.find("div", attrs={"class":"content-box__strong red-text card__price"})
JTitems

或

w = soup.find("div", attrs={"class":"content-box card__body"})
w

为什么这种方法不起作用？我应该怎么做才能获得有关汽车的所有信息？我正在使用 Python 2.7。

Answer 1

找到您需要的信息所在的table。然后找到所有tr 并遍历它们以获取文本。

from bs4 import BeautifulSoup
from selenium import webdriver

url='http://www.autobody.ru/catalog/10230/217881/'

browser = webdriver.Chrome()
browser.get(url)
html = browser.page_source

soup = BeautifulSoup(html, 'lxml')

price = soup.find('div', class_='price').get_text()
print(price)

for tr in soup.find('table', class_='tech').find_all('tr'):
    print(tr.get_text())

browser.close()
browser.quit()