使用 URL 列表提取数据答案

【问题标题】：Using list of URLs to extract the data使用 URL 列表提取数据
【发布时间】：2019-11-13 10:11:54
【问题描述】：

我正在努力使用 url 列表来提取数据。我尝试使用此代码从一个 url 获取数据：

r = requests.get('https://www.horizont.net/marketing/nachrichten/anzeige.-digitalisierung-wie-software-die-kreativitaet-steigert-178413')
c = r.content
soup = BeautifulSoup(c, 'html.parser')
print(soup.prettify())

然后简单地从页面中定义我需要的内容：

    all = soup.select('.PageArticle')  
    title = []
    author = []
    publish_date = []
    article_main_content = []
    article_body = []
    for item in all:
        t = item.find_all('h1')[0].text
        title.append(t)
        a = item.find_all('span')[2].text
        author.append(a)
        p = item.find_all('span')[5].text
        publish_date.append(p)
        amc = item.select('.PageArticle_lead-content')[0].text
        article_main_content.append(amc)
        a_body = item.select('.PageArticle_body')[0].text
        article_body.append(a_body)

现在我有 URL 列表并希望通过 URL 列表获得相同的结果...知道如何吗？目前我得到这个输出：

Schweizer Illustrierte und L'illustré rücken näher zusammen 
Beat Hürlimann
11. November 2019

但我需要所有网址“文章名称”、“作者”和“发布日期”的结果都相同

【问题讨论】：

“现在我有 URL 列表并希望得到相同的结果，但是通过 URL 列表...知道怎么做吗？”不一样？后电流输出和期望输出
我只对 1 个 URL r = requests.get('https://www.horizont.net/marketing/nachrichten/anzeige.-digitalisierung-wie-software-die-kreativitaet-steigert-178413') 感到满意，但我有列表 url，我想从中获取与我在代码中提到的相同的东西。
你知道如何迭代列表吗？对于 urls 中的 url：request.get(url) ...
谢谢。我终于找到了解决办法。

标签： python pandas beautifulsoup request

【解决方案1】：

挣扎之后。我能够找到解决方案。

 for url in url_list:
        r = requests.get(url)
        c = r.content
        soup = BeautifulSoup(c, 'html.parser')
        all = soup.select('.PageArticle')

    for item in all:

            t = item.find_all('h1')[i].text
            title.append(t)
            print(t)
            a = item.find_all('span')[j].text
            author.append(a)
            print(a)
            p = item.find_all('span')[k].text
            publish_date.append(p)
            print(p)


i = i +1 
j += 1
k += 1
l += 1

【讨论】：