继续获取数据，直到结果为空数组

Question

我正在使用 Selly API 并尝试获取所有产品，但是 Selly API 对产品进行分页。

所以我需要获取所有产品并添加到一个数组中，然后通过 JSON 输出结果。

const base64 = require('base-64');
import fetch from 'isomorphic-unfetch';

export default async (req, res) => {
    res.setHeader('Content-Type', 'application/json');
    try {
        request('products')
            .then(data => data.json())
            .then(json => res.status(200).end(JSON.stringify(json)));
    } catch(err) {
        res.end(JSON.stringify({
            "error": err
        }));
    }
}

const getToken = () => {
    return base64.encode(`${process.env.api.email}:${process.env.api.key}`);
}

const request = async (endpoint = '', page) => {
    const options = {
        headers: {
            Authorization: `Basic ${getToken()}`,
            'User-Agent':  `${process.env.api.email} - https://example.com`
        }
    }
    return fetch(`https://selly.io/api/v2/${endpoint}?page=${page}`, options);
}

我正在尝试获取https://selly.io/api/v2/products?page=${page}，直到返回结果为空数组[]。

我的尝试是这样的：

const repeatedRequest = async (data, endpoint) => {
    let i = 1;
    while (data.length > 0) {
        console.log(data);
        await request(endpoint, i).then((res) => {
            data.push(res);
            i++;
        });
    }
    return data;
}

但是这不起作用，因为返回结果是一个空数组。我也很困惑如何与以下 sn-p 一起执行此操作：

request('products')
    .then(data => data.json())
    .then(json => res.status(200).end(JSON.stringify(json)));

我将如何在这个函数中工作？

我该怎么做？

Answer 1

您（在评论中）询问了一个子问题，即如何设置循环以一遍又一遍地调用请求函数以获取结果，直到没有更多结果为止。我将尝试以一种最小且通用的方式在这里回答您的子问题，希望对您和其他人有用。

这是一种单独设置异步循环机制的方法。方法总是不止一种。 ;)

我将制作几个实用函数，让我能够简洁地表达解决方案。

1. 我需要一个假的request 函数，它会返回一些结果，然后返回一些虚假的结果。我会打电话给fakeRequest。
2. 我需要一种通用方法来调用具有不断增加的整数索引参数的异步函数，直到它返回一些错误的东西作为 异步生成器函数。我会打电话给iterateAllAsync
3. 我需要一种通用方法将异步生成器函数的所有结果合并到一个数组中。本质上是Array.from 的异步版本。我会打电话给arrayFromAsync

然后你可以说：从i = 0 开始发出虚假请求并递增i 直到它不返回任何内容，然后将所有这些结果作为数组返回。

...您可以（大致）将其表达为：arrayFromAsync(iterateAllAsync(fakeRequest))。在实践中我可能会添加一个 lambda 来向您展示如何将一些额外的参数 curry 到 fakeRequest 中，但这是它的基本结构。

这就是全部内容：

// An example fake request function
const fakeRequest = async (endpoint, i) => {
  const kNumberOfFakeResultsToReturn = 3;
  if (i >= kNumberOfFakeResultsToReturn) return;
  return { content: `fake payload #${i} from ${endpoint}` };
};

// A general purpose utility function:
// yields results of calling fn(i) with ever increasing i until it returns something falsey
async function* iterateAllAsync(fn, i = 0) {
  while (true) {
    let res = await fn(i)
    if (!res) return;
    yield res;
    ++i;
  }
}

// A general purpose utility function:
// returns an async generator's results as an array
const arrayFromAsync = async (it) => {
  let results = [];
  for await (let res of it) {
    results.push(res);
  }
  return results;
}

// Here's where we describe what we want done:
arrayFromAsync(iterateAllAsync((i) => fakeRequest('fakeEndpoint', i)))
  .then(console.log);