如何使用 findall 提取元组？

Question

我正在尝试从 url 中提取元组，并且我已经成功地使用 re.search(pattern_str, text_str) 提取了 string text 和 tuples .但是，当我尝试使用 re.findall(pattern_str, text_str) 提取元组列表时，我遇到了困难。

文字如下：

<li>
  <a href="11111">
    some text 111
    <span class="some-class">
      #11111
    </span>
  </a>
</li><li>
  <a href="22222">
    some text 222
    <span class="some-class">
      #22222
    </span>
  </a>
</li><li>
  <a href="33333">
    some text 333
    <span class="some-class">
      #33333
    </span>
  </a>
... # repeating
... 
... 

我正在使用以下模式和代码来提取元组：

text_above = "..." # this is the text above
pat_str = '<a href="(\d+)">\n(.+)\n<span class'
pat = re.compile(pat_str)
# following line is supposed to return the numbers from the 2nd line
# and the string from the 3rd line for each repeating sequence
list_of_tuples = re.findall(pat, text_above)

for t in list_of tuples:
    # supposed to print "11111 -> blah blah 111"
    print(t[0], '->', t[1])

也许我正在尝试一些奇怪且不可能的事情，也许使用原始字符串操作提取数据会更好......但万一有解决方案？

Answer 1

您的正则表达式没有考虑\n 和<span 之间的空格（缩进）。 （而且你想要捕获的行开头的空白也不是，但这不是什么大问题。）要修复它，你可以添加一些\s*：

pat_str = '<a href="(\d+)">\n\s*(.+)\n\s*<span class'

Answer 2

按照 cmets 中的建议，使用像 BeautifulSoup 这样的 html 解析器：

from bs4 import BeautifulSoup

h = """<li>
  <a href="11111">
    some text 111
    <span class="some-class">
      #11111
    </span>
  </a>
</li><li>
  <a href="22222">
    some text 222
    <span class="some-class">
      #22222
    </span>
  </a>
</li><li>
  <a href="33333">
    some text 333
    <span class="some-class">
      #33333
    </span>
  </a>"""

soup = BeautifulSoup(h)

你可以得到href和previous_sibling到span：

print([(a["href"].strip(), a.span.previous_sibling.strip()) for a in soup.find_all("a")])
[('11111', u'some text 111'), ('22222', u'some text 222'), ('33333', u'some text 333')]

或者是href和锚点的第一个内容：

print([(a["href"].strip(), a.contents[0].strip()) for a in soup.find_all("a")])

或使用.find(text=True) 仅获取标签文本，而不是从子级获取。

[(a["href"].strip(), a.find(text=True).strip()) for a in soup.find_all("a")]

另外，如果你只想要列表标签内的锚点，你可以专门解析这些：

[(a["href"].strip(), a.contents[0].strip()) for a in soup.select("li a")]