将数据从 HTML 导出到 Excel

Question

我刚开始编程。 我的任务是将数据从 HTML 页面提取到 Excel。 使用 Python 3.7。 我的问题是，我有一个网站，里面有更多的网址。 在这些网址后面又多了更多的网址。 我需要第三个 url 后面的数据。 我的第一个问题是，我如何指示程序仅从 ul 中选择特定链接，而不是页面上的每个 ul？

from bs4 import BeautifulSoup
import urllib
import requests
import re

page = urllib.request.urlopen("file").read()

soup = BeautifulSoup(page, "html.parser")

打印(soup.prettify())

for link in soup.find_all("a", href=re.compile("katalog_")):
links= link.get("href")
if "katalog" in links:
    for link in soup.find_all("a", href=re.compile("alle_")):
        links = link.get("href")       

打印(soup.get_text())

Answer 1

有很多方法，一种是使用“find_all”并尝试像您一样在“a”之类的标签上具体化。如果这是唯一的选择，那么在输出中使用正则表达式。你可以参考这个帖子：Python BeautifulSoup Extract specific URLs。还请向我们展示您要提取的链接的链接或 html 结构。我们想看看 URL 之间的区别。

PS：对不起，我不能制作 cmets，因为

根据理解更新答案：

from bs4 import BeautifulSoup
import urllib
import requests

page = urllib.request.urlopen("https://www.bsi.bund.de/DE/Themen/ITGrundschutz/ITGrundschutzKompendium/itgrundschutzKompendium_node.html").read()
soup = BeautifulSoup(page, "html.parser")

for firstlink in soup.find_all("a",{"class":"RichTextIntLink NavNode"}):
    firstlinks = firstlink.get("href")
    if "bausteine" in firstlinks:
        bausteinelinks = "https://www.bsi.bund.de/" + str(firstlinks.split(';')[0])
        response = urllib.request.urlopen(bausteinelinks).read()
        soup = BeautifulSoup(response, 'html.parser')
        secondlink = "https://www.bsi.bund.de/" + str(((soup.find("a",{"class":"RichTextIntLink Basepage"})["href"]).split(';'))[0])
        res = urllib.request.urlopen(secondlink).read()
        soup = BeautifulSoup(res, 'html.parser')
        listoftext = soup.find_all("div",{"id":"content"})
        for text in listoftext:
            print (text.text)