如何（快速）在 Firebase 中下载大量数据？

Question

我正在以 33Hz 的频率向 Firestore 发送数据。这意味着随着时间的推移，会存储大量数据。

我需要能够下载这些数据。为此，我在 firebase 中创建了一个 Http 函数，它接收用户 uid、设备序列号、开始日期/时间和结束日期/时间。然后该函数测试用户是否存在以及他是否拥有该序列号。然后它查询 firestore 并将数据附加到 JSON 对象，最终作为响应发送。

但是，根据查询的时间长短，函数会超时。它确实在短期内有效。

我应该怎么做才能使功能更快？我是不是用错了工具？

[...]
const nD1 = db.collection('grind-bit').doc(req.query.serial).collection('history').where('date', '>=', startdate).where('date', '<=', enddate).get().then(snapshot => {
  snapshot.forEach(doc => {
    elem = {};
    elem.date = doc.data().date;
    elem.rms0 = doc.data().rms0;
    elem.rms1 = doc.data().rms1;
    elem.rms2 = doc.data().rms2;
    data[key].push(elem);
  });
  if(data[key].length) {
    let csv = json2csv(data[key]);
    csv = JSON.stringify(csv);
    res.set("Content-Type", "text/csv");
    return promises.push(res.status(200).send(csv));
  } else {
    return promises.push(res.status(401).send('No data has been found in this interval.'));
  }
[...]

Answer 1

如果超时是由于您尝试一次性读取/返回过多数据而导致的，您可能需要考虑限制返回的数据量。通过在查询中添加limit() 子句，您可以限制它最多返回多少数据。

const nD1 = db.collection('grind-bit').doc(req.query.serial).collection('history')
.where('date', '>=', startdate).where('date', '<=', enddate)
.limit(100)
.get().then(snapshot => {
  snapshot.forEach(doc => {
    ...

这当然意味着您可能必须多次调用 HTTP 函数以确保处理所有数据。最简单的方法是：如果您得到 100 个结果（或您指定的任何限制），请在处理完之后再试一次。

另见：

• limiting query results 上的 Firebase 文档