使用 beautifulsoup 或 selenium 在具有其他类的其他 div 中选择该特定的 div 类名称，但不选择其他 div

Question

从我这边来看，这是一个棘手的问题，我被困在网页抓取部分并且无法继续进行。

https://i.stack.imgur.com/r4tN2.png

我只需要循环中的网格单元答案

我尝试过使用

grid_cell=driver.find_element_by_css_selector('#tags-browser > div:nth-child(2) > div.mt-auto.grid.jc-space-between.fs-caption.fc-black-300 > div:nth-child(1)')

现在显示标签的文本将显示 2061748 个问题

grid_cell.text

但这仅适用于一个元素。

如果我想把它放在一个循环中，我需要该页面中所有可用标签的所有计数？

在这种情况下，根据图像，我在 '''javascript''' 和 '''java''' 上迭代了一个 for 循环 但 get_element_using_css_selector 将为 java 或 javascript 提供一个特定的计数，但不会为两者都提供。

如果我选择的话

tag_counts = body.find_all('div', class_='grid_cell')

然后我会得到其他在所附图片中位于网格单元下方的类。

请提出一些解决方案。任何帮助将不胜感激。

Answer 1

有两种方法可以实现：

第一个选项： 删除您不想抓取的标签，然后抓取您想要的标签。例如：

tags = body.find_all('div', class_='grid_cell s-anchor') # TODO: add full class name (to remove this tag) 
for tag in tags:
    tag.extract() # Remove tag from body

tags = body.find_all('div', class_='grid_cell') # This will contain all the tags you want.

第二个选项： 遍历父 html 标签并使用 find() 获取第一个标签。例如：

containers = body.find_all('div', class_='mt-auto grid') # Find parent tag 
for container in containers:
    tag = container.find('div', class_='grid_cell') # Get first tag in the container div
    print(tag.text.strip())