【发布时间】:2021-05-24 01:11:59
【问题描述】:
我有一个包含一百万个 pin 的列表和一个在 URL 中包含 pin 的 URL
例子:
https://www.example.com/api/index.php?pin=101010&key=113494
我必须使用 csv 文件中的一百万个值列表(例如 093939,493943,344454)更改 pin 的数字“101010”,然后将所有这些新 URL 保存到 csv 文件中。
这是我迄今为止尝试过但没有奏效的方法:
def change(var_data):
var = str(var_data)
url = 'https://www.example.com/api/index.php?pin=101010&key=113494'
url1 = url.split('=')
url2 = ''.join(url1[:-2] + [var] + [url1[-1]])
print(url2)
change('xxxxxxxxxx')
这也适用于进入 json 页面的 api 请求。使用python然后重复我保存在csv文件中的这些url是最好的方法吗?我想为我拥有的所有 pin 收集一些信息并将其保存到 BigQuery 数据库,或者我可以连接到 Google Data Studio 的某个地方,以便能够使用所有这些数据创建仪表板。
有什么想法吗?您认为完成这项工作的最佳方法是什么?
【问题讨论】:
-
我建议将这个问题分成两个单独的问题。首先,您如何读取、转换和写入 csv?其次,关于最佳实践的问题。
标签: python json api csv bigdata