Beautifulsoup的find_all中使用正则表达式

Question

我正在尝试抓取 tumblr 存档，div 类标签看起来像图片中给出的

课程以“post post_micro”开头，我尝试使用正则表达式但失败了

soup.find_all(class_=re.compile('^post post_micro') 

我尝试将 find_all 中的函数用于类

def func(x):                 
    if str(x).startswith('post_tumblelog'):
        return True

并将其用作：

soup.find_all(class_=func)

以上工作正常，我得到了我需要的东西。但我想知道如何使用正则表达式以及为什么在 func(x) 中，

str(x).startswith('post_tumblelog')

当类名以“post post_micro”开头时评估为 True。

Answer 1

在 BeautifulSoup 4 中，您可以使用 .select() method，因为它可以接受 CSS 属性选择器。在您的情况下，您将使用属性选择器[class^="post_tumblelog"]，它将选择以字符串post_tumblelog 开头的class 属性。

soup.select('[class^="post_tumblelog"]')

或者，您也可以使用：

soup.find_all(class_=lambda x: x and x.startswith('post_tumblelog'))

作为旁注，您似乎缺少括号，以下是有效的：

soup.find_all(class_=re.compile('^post_tumblelog'))