为什么这个 find_all 方法 (BeautifulSoup4) 不能正确返回所有 URL？

Question

我在使用 BeautifulSoup4 时遇到问题。

我正在尝试在特定 div 下的某个 html 页面 (https://www.gov.br/pt-br/servicos/infrabr) 上查找每个链接，这是我的代码：

for a in soup.find(class_='col-servico').find_all(href = True):
    print(a['href'])

这是我感兴趣的 html 块（它在 div class=col-servico 内部）：

<div class="servico_fieldset_outras_conteudo">
   <p style="text-align: justify; ">Agora, o Sistema Eletrônico do Serviço de Informação (e-SIC) está integrado 
ao&nbsp;<span><a href="http://fala.BR" class="linkified" target="_blank">Fala.BR</a></span>.
 Desenvolvida .</p>
   <p style="text-align: justify; ">Em conformidade com
 a&nbsp;
<span><a class="external-link" 
href="http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm" target="_blank" title="" 
data-tippreview-enabled="false" data-tippreview-image="" data-tippreview-title="">

你可以看到这个块有两个'a'标签：

<span><a href="http://fala.BR" class="linkified" target="_blank">Fala.BR</a></span>

<span><a class="external-link" 
href="http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm" target="_blank" title="" 
data-tippreview-enabled="false" data-tippreview-image="" data-tippreview-title="">

但我的结果是只带了一个：

http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm

如您所见，它只返回“planalto.gov.br”网址，而不是“fala.BR”网址。我看不出这两个“a”标签之间有什么区别，我不知道为什么它没有返回第一个链接。有人可以帮帮我吗？

Answer 1

我认为有几个问题。首先，在您提供的链接中，给定的 div 中没有 fala br 的 href。您可以手动检查：

import httpx

res = httpx.get("https://www.gov.br/pt-br/servicos/infrabr")
soup = BeautifulSoup(res.text)

print(soup.find(class_="col-servico").prettify())

如果我们改用您发布的 sn-p，我们会得到 fala BR href：

html = """
<div class="servico_fieldset_outras_conteudo">
   <p style="text-align: justify; ">Agora, o Sistema Eletrônico do Serviço de Informação (e-SIC) está integrado 
ao&nbsp;<span><a href="http://fala.BR" class="linkified" target="_blank">Fala.BR</a></span>.
 Desenvolvida .</p>
   <p style="text-align: justify; ">Em conformidade com
 a&nbsp;
<span><a class="external-link" 
href="http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm" target="_blank" title="" 
data-tippreview-enabled="false" data-tippreview-image="" data-tippreview-title="">
"""

soup = BeautifulSoup(html)

for a in soup.find(class_="servico_fieldset_outras_conteudo").find_all(href=True):
    print(a["href"])

# Returns:
# http://fala.BR
# http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm

也许只是检查一下您在处理过程中是否使用了正确的 HTML

Answer 2

在某些 cmets 中也有一些 'col-servico' 的匹配项，并且 cmets 不是标记，因此当您调用 find_all 时会出现错误。 代码在这里

from bs4 import BeautifulSoup, Tag

[...]

for div in soup.find(class_='col-servico'):
    if isinstance(div, Tag):
        for tag in div.find_all(href=True):
            print(tag['href'])

输出

#
#
#
#
http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm
http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2017/lei/l13460.htm
https://www.gov.br/pt-br/orgaos/ministerio-da-infraestrutura