Beautifulsoup：如何从列表中获取某些链接？

Question

如何使用 BeautifulSoup 从网页中获取链接，将它们存储在列表中，然后打印出某个链接？ 这是我目前所拥有的：

from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("https://example.com/")
content = BeautifulSoup(html.read(), "html.parser")
for link in content.find_all("a"):
    print(link.get("href")[0])

但我收到此错误： TypeError: 'NoneType' object is not subscriptable如何解决这个问题并获得第一个链接？

Answer 1

要检索页面中的所有链接，请使用正则表达式。

下面的代码应该会为你做：

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

html = urlopen("https://www.stmaryottumwa.org/")
content = BeautifulSoup(html.read(), "html.parser")
links = []

for link in content.find_all("a", attrs={'href': re.compile("^http")}):
    links.append(link.get("href"))

print(links[0]) # print first link on page

可变链接将包含页面上的所有链接。

Answer 2

为了获取元素的属性，您需要访问.attrs 字典。 还要记住，有时a 标签根本没有href 属性，您可以使用.get 来解决这个问题：

link.attrs.get('href')

我不确定您希望[0] 做什么，因为a 标记只能有一个href 属性。使用[0] 将获得href 属性的第一个字符。

for link in content.find_all("a"):
    href = a.attrs.get('href')
    if href:
        print(href[0])