如何获取网站上所有文章的链接？ [复制]

Question

您好，我对 BS4 或 selenium 真的很陌生。我想知道是否有办法获取网站上所有文章的链接。

例如https://uk.yahoo.com 会有很多新闻文章。我怎样才能（或有可能）获得所有这些文章的链接列表？

Answer 1

试试这个。添加您自己的用户代理字符串。

import re
import requests
from bs4 import BeautifulSoup

response = requests.get(url='https://uk.yahoo.com ', headers={'User-Agent':''})
soup = BeatifulSoup(response.content, 'html.parse')

links = []
for link in soup.findAll('a', attrs={'href': re.compile('^https://')}
    links.append(link.get('href'))
print(links)