使用 beautifulsoup 抓取 url 列表并将数据转换为 csv

Question

我是 Python 新手。以下问题：

1. 我有一个要从中抓取数据的网址列表。我不知道我的代码有什么问题，我无法从所有 url 中检索结果。该代码仅抓取第一个 url 而不是其余的。如何成功抓取列表中所有 url 中的数据（标题、信息、描述、应用程序）？

2. 如果问题 1 有效，如何将数据转换为 CSV 文件？

代码如下：

import requests
from bs4 import BeautifulSoup
from bs4 import BeautifulSoup
import lxml
import pandas as pd
from urllib.request import urlopen
from urllib.error import HTTPError
from urllib.error import URLError

urlList = ["url1","url2","url3"...lists of urls.......]

for url in urlList:
    try:
        html = urlopen(url)
    except HTTPError as e:
        print(e)
    except URLError:
        print("error")
    else:
        soup = BeautifulSoup(html.read(),"html5lib")
# Scraping
def getTitle():
    for title in soup.find('h2', class_="xx").text:
            print(title)

def getInfo():
   for info in soup.find('ul', class_="j-k-i").text:
        print(info)

def getDescription():
    for description in soup.find('div', class_="b-d").text:
        print(description)

def getApplication():
    for application in soup.find('div', class_="g-b bm-b-30").text:
       print(application)

for soups in soup():
    getTitle()
    getInfo()
    getDescription()
    getApplication()

Answer 1

尝试以下方法：

import requests
from bs4 import BeautifulSoup
from bs4 import BeautifulSoup
import lxml
import pandas as pd
from urllib.request import urlopen
from urllib.error import HTTPError
from urllib.error import URLError
import csv


def getTitle(soup):
    return soup.find('h2', class_="xx").text

def getInfo(soup):
    return soup.find('ul', class_="j-k-i").text

def getDescription(soup):
    return soup.find('div', class_="b-d").text

def getApplication(soup):
    return soup.find('div', class_="g-b bm-b-30").text

urlList = ["url1","url2","url3"...lists of urls.......]

with open('output.csv', 'w', newline='')  as f_output:
    csv_output = csv.writer(f_output)
    csv_output.writerow(['Title', 'Info', 'Desc', 'Application'])
    
    for url in urlList:
        try:
            html = urlopen(url)
        except HTTPError as e:
            print(e)
        except URLError:
            print("error")
        else:
            soup = BeautifulSoup(html.read(),"html5lib")
            row = [getTitle(soup), getInfo(soup), getDescription(soup), getApplication(soup)]
            print(row)
            csv_output.writerow(row)
            

这会将当前的soup 传递给每个要使用的函数。现在每个函数都返回找到的文本（以前 for 循环一次打印一个字符）。

最后，Python 的csv 库可用于轻松编写格式正确的 CSV 文件。它为每一行获取一个值列表，并默认在output.csv 中写入一个逗号分隔的行。

注意：未测试，因为您没有提供任何合适的 URL。