从 api 递归获取所有页面

Question

我正在尝试从远程 api 获取所有记录，该远程 api 对一次可以获取的数量有限制。我正在尝试使用递归，但在 Python 中有效的一般概念我也无法在 JS 中工作。

这就是我目前正在做的事情，它将获取 100 条记录，然后在后台继续运行。我尝试了许多不同的方法来做到这一点，但似乎没有任何效果。

任何帮助都会很棒，谢谢。

  async getBooks(offset = 0) {
    return await bookGenie.find(
      'fiction',
      100,
      offset,
    )
  }

Answer 1

我推荐这个：

async function getBooks(offset = 0, result = []) {
  try {
    // get new page
    const page = await bookGenie.find(
      'fiction',
      100,
      offset,
    );
    // add page to result array
    result = result.concat(page);
    // check is this the end
    if (page.length !== 100) { // or what condition do you need
      // return result array
      return result;  
    } else {
      // or increase offset and continue processing
      return getBooks(offset + 100, result);
    }
  } catch (err) {
    throw err; // or handling somehow
  }
}

现在递归 getBook 返回承诺，所有发现的记录在解析时合并到一个数组中，并在拒绝时抛出错误。
所有请求将逐个执行，每一步增加偏移量 100，直到请求返回少于 100 条记录（不是整页 = 列表结尾）。

用法：

const list = await getBooks();
console.log(list); 
// [ ... ]
// List of all records

额外：相同的方法但紧凑

async function getBooks(offset = 0, result = []) {
  try {
    const page = await bookGenie.find('fiction', 100, offset);
    return page.length !== 100 ? result.concat(page) : getBooks(offset + 100, result.concat(page));
  } catch (err) {
    throw err; // or handling somehow
  }
}

Answer 2

您的await getBooks() 电话：

getBooks((offset = offset += 100))

应该写成这样：

getBooks((offset += 100))

在我看来，之前的 if 语句是错误的。也许试试：

if (result.length < 1000) { // will continue until result.length is 1000
    result.push(await getBooks(offset += 1)); /* + 1 so the .push will add one element to the array each time. + 100 may work too */
}

我无法实际测试这个，但是这个（或类似的东西）对于 JS 来说更传统。这是一个可以帮助你的链接https://www.javascripttutorial.net/javascript-recursive-function/