GAS UrlFetchApp.fetchAll 将所有响应合并到一个 JSON 响应中

Question

我有一个返回大型 JSON 的请求：

function fetchDataFromApi(request, params) {

var url = 'https://someurl/get-records?' + 
              'school=someSchool&' +
              'year=';
    var yearToday = parseInt(new Date().getFullYear());

    var requests = [];
    for (var i = 2011; i < yearToday; i++)
    {
      requests.push(url + i);
    }

    return JSON.parse(UrlFetchApp.fetchAll(requests).map(function(e) { return e.getContentText()}));

}

我已按年对它进行切片，这样 UrlFetchApp 就不必处理 50MB 的 blob 限制。但是它会引发错误：

 Exception details: InternalError: Array length 53673928 exceeds supported capacity limit.

但是当我尝试访问响应的每个元素时，例如

JSON.parse(UrlFetchApp.fetchAll(requests)[0].getContentText()

...效果很好。

您知道导致问题的原因吗？

我也尝试将所有响应分成单独的请求。

var responses = []
for (var i = 2011; i < yearToday; i++)
{
  var request = url + i;
  responses.push(UrlFetchApp.fetch(request).getContentText());
}

var json = JSON.parse([].concat.apply([], responses));
return json;

但在 Google Data Studio 中会抛出此错误：

Array length 68522537 exceeds supported capacity limit.

Answer 1

如果您想解决50 MB 限制，这不是要走的路

即使您映射响应，您也必须先完整检索它。 另见this post。

因此，您可能希望（并且需要）为每个请求执行单独的 fetch 调用 - 从而将响应 blob 的大小拆分为单独的 blob。

    var responses = [];
    for (var i = 2011; i < yearToday; i++)
    {
      var request = url + i;
      responses.push(JSON.parse(UrlFetchApp.fetch(request).getContentText()));
    }
    return responses;

根据每个请求响应的大小，您也可以分批进行 - 例如fetchAll 一次用于 2-3 个请求。