如何遍历 CSV 文件 URL 调用 PYTHON答案

【问题标题】：How to iterate through CSV file URL call PYTHON如何遍历 CSV 文件 URL 调用 PYTHON
【发布时间】：2021-05-24 11:19:19
【问题描述】：

我有一个包含超过 100 万个 URL 的文件 (urls.csv)。每行都是一个新的网址，例如：

https://example.com/1
https://example.com/2 等等……

我想获取每个 url 末尾的 json 文件，并将其保存为每个 url 的单独 json 文件，文件名按顺序 1,2,3,n...

这是我目前所拥有的：

import requests
import csv

url = []

with open('urls.csv') as csvfile:    
    csvReader = csv.reader(csvfile)    
    for row in csvReader:        
        url.append(row[0])

headers = {'Accept': 'application/json'}

response = requests.get(url, headers=headers)

with open('outputfile.json', 'wb') as outf:
    outf.write(response.content)

我应该如何解决这个问题？

【问题讨论】：

标签： python json csv python-requests get

【解决方案1】：

试试这个：

import requests
import csv

urls = []

with open('urls.csv') as csvfile:    
    csvReader = csv.reader(csvfile)    
    for row in csvReader:        
        urls.append(row[0])

headers = {'Accept': 'application/json'}

for url in urls:
    response = requests.get(url, headers=headers)
    filename = url.split('/')[-1]
    with open(f'{filename}.json', 'wb') as outf:
        outf.write(response.content)

假设您的第三个网址是https://example.com/3，代码将保存一个名为3.json 的文件以用于相应的响应。

【讨论】：