Beautifulsoup 抓取对象选择

Question

我正在尝试通过 Beautifulsoup 进行抓取，对此我很陌生，我需要表格行，如您所见 enter image description here。 这些表格来自 reactapp，然后显示在网站上。我需要建议如何做到这一点。我正在努力创建beautifulsoup 对象，但不知道要获取表行及其内容的实际类。

webpage = urlopen(req).read()
soup = bs(webpage, "html.parser")
table=soup.find('table', {'class': 'equity'})
rows=list()
for row in table.findAll("tr"):
     rows.append(row)

需要您的帮助，非常感谢，很难完成！

Answer 1

您可以使用以下代码获取td 元素：

webpage = urlopen(req).read()
soup = bs(webpage, "lxml")
table=soup.find('table', {'class': 'table'}).find('tr')
rows=list()
for row in table.findAll("td"):
     rows.append(row)

我更喜欢使用lxml 作为解析器，因为它有一些优势，但您可以继续使用html.parser

您也可以使用pandas，它会创建，从它的文档中学习要容易得多（有很多）。