提取没有任何标签的段落数据

Question

我写了一个 scraper 来scraper 从网站上删除数据，但不幸的是网站上的数据不一致。有时该段落是使用<p> 标签编写的，有时不是。 （下面给出的代码片段） 有什么动态的方法知道吗？

产生错误的部分代码

main_content = soup.findAll("div", {"class": "story-detail"})
content = ""
for div in main_content:
    links = div.findAll('p')
    for a in links:
        a = str(a).strip('<p>')
        a = str(a).strip('/>')
        a = str(a).strip('<')
        a = str(a).strip('<br>')
        content = content + a

Answer 1

您可以通过text 属性获取所有文本。在这种情况下，您无需担心底层结构。

例子：

>>> soup = Soup(first, 'html.parser')
>>> soup
<div class="story-detail">test</div>

>>> soup.find('div').text
'test'
>>> soup = Soup(second, 'html.parser')
>>> soup
<div class="story-detail">another <p>test</p></div>

>>> soup.find('div').text
'another test'

Answer 2

如果您想要完成的是从您的文本中删除所有 <p> 和 </p> 标记，我将使用如下正则表达式：

main_content = ["a div without p tags", "<p>a div with p tags</p>"]

import re

for i in range(0,len(main_content)):
   main_content[i] = re.sub("<p>|</p>","",main_content[i])