Beautifulsoup 在元标记中找到特定值

Question

我正在尝试查找其中包含作者的所有元标记。如果我有一个特定的键和正则表达式值，它就可以工作。当两者都是正则表达式时它不起作用。是否可以提取页面上包含“作者”关键字的所有元标记？ 这是我写的代码。

from bs4 import BeautifulSoup
page = requests.get(url)
contents = page.content
soup = BeautifulSoup(contents, 'lxml')
preys = soup.find_all("meta", attrs={re.compile('.*'): re.compile('author')})

编辑： 为了澄清起见，我要专门解决的问题是值“作者”是否映射到任何键。正如我在各种示例中看到的那样，该键可以是“itemprop”、“name”甚至“property”。基本上，我的问题是提取所有将作者作为值的元标记，无论该值具有什么键。 几个例子：

<meta content="Jami Miscik" name="citation_author"/>
<meta content="Will Ripley, Joshua Berlinger and Allison Brennan, CNN" itemprop="author"/>
<meta content="Alison Griswold" property="author"/>

Answer 1

应该这样做。很遗憾，我无法快速找到包含 author meta 的页面来证明此代码的有效性。如果您发现有问题，请告诉我。

>>> import requests
>>> import bs4
>>> page = requests.get('http://reference.sitepoint.com/html/meta').text
>>> soup = bs4.BeautifulSoup(page, 'lxml')
>>> [item.attrs['name'] for item in soup('meta') if item.has_attr('name')]
['robots', 'description']
>>> [item.attrs['name'] for item in soup('meta') if item.has_attr('name') and item.attrs['name'].lower()=='author']
[]

编辑：也适用于 Jan 的 html 块。他的语法更好；使用它。

>>> html = '<meta name="author" content="Anna Lyse"> <meta name="date" content="2010-05-15T08:49:37+02:00">'
>>> soup = bs4.BeautifulSoup(html, 'lxml')
>>> [item.attrs['name'] for item in soup('meta') if item.has_attr('name') and item.attrs['name'].lower()=='author']
['author']

Answer 2

如果您正在寻找citation_author 或author，您可能会使用soup.select() 和正则表达式的组合：

from bs4 import BeautifulSoup
import re

# some test string
html = '''
<meta name="author" content="Anna Lyse">
<meta name="date" content="2010-05-15T08:49:37+02:00">
<meta itemprop="author" content="2010-05-15T08:49:37+02:00">
<meta rel="author" content="2010-05-15T08:49:37+02:00">
<meta content="Jami Miscik" name="citation_author"/>
<meta content="Will Ripley, Joshua Berlinger and Allison Brennan, CNN" itemprop="author"/>
<meta content="Alison Griswold" property="author"/>
'''

soup = BeautifulSoup(html, 'html5lib')

rx = re.compile(r'(?<=)"(?:citation_)?author"')

authors = [author 
            for author in soup.select("meta")
            if rx.search(str(author))]

print(authors)