从 csv 文件获取一些 url 到 python 程序答案

【问题标题】：Get some urls from csv file to python program从 csv 文件获取一些 url 到 python 程序
【发布时间】：2022-11-17 06:42:16
【问题描述】：

我正在研究网络抓取工具代码，他工作正常，现在我想用包含数千个 url 的 csv 文件替换 url，就像这样：

url1
url2
url3
.
.
.urlX

我的第一行网络废料代码是基本的：

from bs4 import BeautifulSoup
import requests
from csv import writer

url= "HERE THE URL FROM EACH LINE OF THE CSV FILE"
page = requests.get(url)


soup = BeautifulSoup(page.content, 'html.parser')

我该怎么做才能告诉 python，使用来自 csv 的 url，我想做一个 dico，但我不太知道我该怎么做，有人有解决方案吗？我知道这对你来说很简单，但对我来说非常有用。

非常感谢你们。

【问题讨论】：

CSV 中是否有多个列，或者这只是一个 URL 列表？如果是后者，只需简单读取文件即可。

标签： python web-scraping url

【解决方案1】：

如果这只是一个 url 列表，那么您实际上并不需要 csv 模块。但这是假设 url 在文件的第 0 列中的解决方案。你想要一个 csv读者，不是作家，然后是迭代行并采取行动的简单案例。

from bs4 import BeautifulSoup
import requests
import csv

with open("url-collection.csv", end="") as fileobj:
    for row in csv.reader(fileobj):
        # TODO: add try/except to handle errors
        url = row[0]
        page = requests.get(url)
        soup = BeautifulSoup(page.content, 'html.parser')

【讨论】：