来自 API in Loop for R 的分页响应

Question

我正在开发一个 API，其中响应最多限制为 100 行，但在它返回的列表中，它会提供到下一页的链接。

例子：

> apiresponse$paging
$`next`
[1] "https://workable.com/spi/v3/accounts/xx-xx-xx-xx/jobs?limit=100&since_id=1233xxb"

所以，要从下一页获取数据，我必须添加上面提到的 URL 来调用 API。

API 代码

url = "https://workable.com/spi/v3/accounts/xx-xx-xx-xx/jobs?limit=100"
key = "xxxxxxxxxxxxx"

# OPTION 1
x <- GET(url, add_headers(Authorization = paste("Bearer", key, sep = " ")))

this.raw.content <- rawToChar(x$content)

apiresponse <- jsonlite::fromJSON(this.raw.content)


apiresponse$paging
apidata <- apiresponse$jobs

要求 我可能想要一个函数，其中 NEXT URL 会自动进入 API 调用循环，直到所有数据都在这里。

Answer 1

您可以尝试使用while 循环并捕获数据，直到next 不为空。

url = "https://workable.com/spi/v3/accounts/xx-xx-xx-xx/jobs?limit=100"
key = "xxxxxxxxxxxxx"
# OPTION 1
x <- GET(url, add_headers(Authorization = paste("Bearer", key, sep = " ")))
this.raw.content <- rawToChar(x$content)
apiresponse <- jsonlite::fromJSON(this.raw.content)
next_url <- apiresponse$paging$`next`
apidata <- apiresponse$jobs

data <- list()
i <- 1

while(!is.null(next_url)) {
  x <- GET(apiresponse$paging$`next`, 
           add_headers(Authorization = paste("Bearer", key, sep = " ")))
  this.raw.content <- rawToChar(x$content)
  apiresponse <- jsonlite::fromJSON(this.raw.content)
  next_url <- apiresponse$paging$`next`
  temp <- apiresponse$jobs
  rownames(temp) <- NULL
  data[[i]] <- temp
  i <- i + 1
}

result <- do.call(rbind, data)