用于多个标签的 Python 正则表达式

Question

我想知道如何从每个<p> 标记中检索所有结果。

import re
htmlText = '<p data="5" size="4">item1</p><p size="4">item2</p><p size="4">item3</p>'
print re.match('<p[^>]*size="[0-9]">(.*?)</p>', htmlText).groups()

结果：

('item1', )

我需要什么：

('item1', 'item2', 'item3')

Answer 1

你可以像这样使用re.findall：

import re
html = '<p data="5" size="4">item1</p><p size="4">item2</p><p size="4">item3</p>'
print re.findall('<p[^>]*size="[0-9]">(.*?)</p>', html)
# This prints: ['item1', 'item2', 'item3']

编辑：...但正如许多评论者指出的那样，使用正则表达式解析 HTML 通常是一个坏主意。

Answer 2

对于此类问题，建议使用 DOM 解析器，而不是正则表达式。

我看到Beautiful Soup 经常被推荐用于 Python

Answer 3

或者，xml.dom.minidom 将解析您的 HTML，如果，

• ...格式正确
• ...您将其嵌入到单个根元素中。

例如，

>>> import xml.dom.minidom
>>> htmlText = '<p data="5" size="4">item1</p><p size="4">item2</p><p size="4">item3</p>'
>>> d = xml.dom.minidom.parseString('<not_p>%s</not_p>' % htmlText)
>>> tuple(map(lambda e: e.firstChild.wholeText, d.firstChild.childNodes))
('item1', 'item2', 'item3')

Answer 4

美丽的汤绝对是解决此类问题的方法。代码更简洁，更易于阅读。一旦你安装了它，所有的标签看起来都是这样的。

from BeautifulSoup import BeautifulSoup
import urllib2

def getTags(tag):
  f = urllib2.urlopen("http://cnn.com")
  soup = BeautifulSoup(f.read())
  return soup.findAll(tag)


if __name__ == '__main__':
  tags = getTags('p')
  for tag in tags: print(tag.contents)

这将打印出 p 标签的所有值。

Answer 5

正则表达式的答案非常脆弱。这是证明（以及一个有效的 BeautifulSoup 示例）。

from BeautifulSoup import BeautifulSoup

# Here's your HTML
html = '<p data="5" size="4">item1</p><p size="4">item2</p><p size="4">item3</p>'

# Here's some simple HTML that breaks your accepted 
# answer, but doesn't break BeautifulSoup.
# For each example, the regex will ignore the first <p> tag.
html2 = '<p size="4" data="5">item1</p><p size="4">item2</p><p size="4">item3</p>'
html3 = '<p data="5" size="4" >item1</p><p size="4">item2</p><p size="4">item3</p>'
html4 = '<p data="5" size="12">item1</p><p size="4">item2</p><p size="4">item3</p>'

# This BeautifulSoup code works for all the examples.
paragraphs = BeautifulSoup(html).findAll('p')
items = [''.join(p.findAll(text=True)) for p in paragraphs]

使用 BeautifulSoup。