获取除标签列表之外的所有标签 BeautifulSoup

Question

我必须从带有文本边界的网站中提取文本，即包含在标签内。

我想过滤掉所有不需要的标签，例如

'style', 'script', 'head', 'title', 'meta', '[document]'

并从其余标签中获取文本

例如：

HTML

<script>console.log('hello');</script>
<span>Header</span>
<p>Some paragraph</p>

输出

['Header', 'Some paragraph']

我知道我能做到

soup.findall('span', text=True) 

p 和其他包含文本的标签以此类推

这效率不高，因此我需要一种替代方法来过滤掉所有不需要的元素，然后获取文本。

Answer 1

您可以首先从您的汤对象中删除所有不需要的标签，如下所示：

代码：

from bs4 import BeautifulSoup as bs

html = """<script>console.log('hello');</script>
<span>Header</span>
<p>Some paragraph</p>
"""
tags = ['style', 'script', 'head', 'title', 'meta', '[document]']
soup = bs(html, 'html.parser')

for t in tags:
    [s.extract() for s in soup(t)]

for el in soup.find_all():
    print(el.text)

输出：

Header
Some paragraph

然后你可以看到script标签消失了，你可以随意处理soup对象

Answer 2

如果你使用最新版本的 BeautifulSoup（我使用 beautifulsoup4==4.7.1），你可以使用 CSS :not 选择器（doc）：

from bs4 import BeautifulSoup

data = '''
<script>console.log('hello');</script>
<span>Header</span>
<document>This is document</document>
<p>Some paragraph</p>
'''

soup = BeautifulSoup(data, 'lxml')

l = [tag.text for tag in soup.body.select(':not(style, script, head, title, meta, document)')]
print(l)

打印：

['Header', 'Some paragraph']