解析 URL 时，Beautiful Soup 不输出任何内容

Question

我编写了一个函数来解析来自archives 的NDTV News 的文章URL。它返回 None 输出而不是 URL 列表。为什么它返回 None？

    def parse_ndtv_archive_links():
        url_count=0
        links = []
        url = makeURL()
        while (url_count < len(url)):
            page=requests.get(url[url_count]).text
            soup=BeautifulSoup(page,'lxml')
            section=soup.find('div', id="main-content")
            for a in section.findAll('li'):
                href=a.get('href')
                links.append(href) 
            url_count += 1
        return list(links) 
print(parse_ndtv_archive_links())

因此，解析函数会在 NDTV 的每一天档案中循环并获取 URL。因此makeURL() 函数会生成一段时间内的归档 URL 列表。

Answer 1

这是因为在您的变量a 中没有存储标签<a>，而是标签<li> 和标签<li> 没有属性href。解决这个问题的一种方法是这样的。

for li in section.findAll('li'):
    href=li.a.get('href')
    links.append(href)

编辑：现在分开几天

import requests
from bs4 import BeautifulSoup

urls = ['http://archives.ndtv.com/articles/2020-05.html']
for url in urls:
    current_day = 1
    page = requests.get(url).text
    soup = BeautifulSoup(page, 'lxml')
    days = soup.find('div', {'id': 'main-content'}).find_all('ul')
    links = {day_num: [] for day_num in range(1, len(days)+1)}
    for day in days:
        for li in day.findAll('li'):
            href = li.a.get('href')
            links[current_day].append(href)
        current_day += 1
print(links)

结果存储在字典links 中，其中键是月份中的天数，值是链接列表。这本字典只包含 一个 个月的天数，如果您希望存储超过一个月的数据，您需要稍微调整一下这段代码。