API 捕获所有分页数据？ （Python）

Question

我正在使用 requests 包来访问 API (greenhouse.io)。 API 是分页的，所以我需要遍历页面来获取我想要的所有数据。使用类似的东西：

results = []
for i in range(1,326+1):
    response = requests.get(url, 
                            auth=(username, password), 
                            params={'page':i,'per_page':100})
    if response.status_code == 200:
        results += response.json()

通过点击 headers 属性我知道有 326 个页面：

In [8]:
response.headers['link']
Out[8]:
'<https://harvest.greenhouse.io/v1/applications?page=3&per_page=100>; rel="next",<https://harvest.greenhouse.io/v1/applications?page=1&per_page=100>; rel="prev",<https://harvest.greenhouse.io/v1/applications?page=326&per_page=100>; rel="last"'

有没有办法自动提取这个号码？使用请求包？还是我需要使用正则表达式之类的？

或者，我应该以某种方式使用 while 循环来获取所有这些数据吗？什么是最好的方法？有什么想法吗？

Answer 1

python 请求库 (http://docs.python-requests.org/en/latest/) 可以在这里提供帮助。基本步骤将是（1）所有请求并从标题中获取链接（您将使用它来获取最后一页信息），然后（2）循环遍历结果，直到您到达最后一页。

import requests

results = []
    
response = requests.get('https://harvest.greenhouse.io/v1/applications', auth=('APIKEY',''))
raw = response.json()  

for i in raw:  
    results.append(i) 

while response.links['next'] != response.links['last']:  
    r = requests.get(response.links['next'], auth=('APIKEY', '')  
    raw = r.json()  
    for i in raw:  
        results.append(i)