Beautiful Soup - 在文章中找到第一个链接

Question

我正在为this problem 创建一个 python 解决方案，但我无法通过一些边缘情况。

我遇到的问题出现在像this 这样的页面上，其中this link 是应该被提取的页面，因为它是括号外的第一个页面。相反，有些文章是like this，其中链接出现在第一个括号之前。

我目前处理这些情况的方式是首先遍历第一个段落标记（字符串化版本）中的元素和文本，并检查在 '(' 和 <a> 之间首先找到哪个。如果先找到<a>（意思是在到达括号之前），我就拿那个链接。如果先找到括号，我等到括号关闭，然后再取下面的'

实际上，我只是获得了第一段元素的直接子元素，可以通过以下方式完成：

soup = BeautifulSoup(response.content, "lxml")
soup.select_one("#mw-content-text > p > a")

我认为在这里可行的是使用这样的选择语句来查找前缀中的第一个链接，从<p> 的开头直到第一个括号，或者（如果前缀中没有链接）find紧跟在右括号后面的链接使用类似于我目前正在做的事情：

`findNext('a').attrs['href']`

如果要使用这种方法，则会出现多个问题，包括： 1.如何实际获取前缀直到第一个括号只有'的直接子元素

有没有一种简化的方法来做到这一点？如果有更好的方法，会是什么？

Answer 1

这个问题让我想起了流行的算法和数据结构问题，当您需要检查括号或其他括号是否平衡时。对于这类问题，stack 数据结构 使用起来很方便。

因此，在这种情况下，如果有左括号，我们将推入堆栈，如果有右括号，则从其中弹出。对我们来说有效的链接将是 堆栈为空的链接：

import requests
from bs4 import BeautifulSoup, NavigableString, Tag


urls = [
    "https://en.wikipedia.org/wiki/Modern_Greek",
    "https://en.wikipedia.org/wiki/Diglossia"
]

with requests.Session() as session:
    for url in urls:
        response = session.get(url)
        soup = BeautifulSoup(response.content, "html.parser")

        stack = []
        for child in soup.select_one("#mw-content-text > p").children:
            if isinstance(child, NavigableString):
                if "(" in child:
                    stack.append("(")
                if ")" in child:
                    stack.pop()

            if isinstance(child, Tag) and child.name == "a" and not stack:
                print(child.get_text())
                break

它为“现代希腊语”页面打印dialects，为“Diglossia”打印linguistics。两种情况都处理。