在 Firebase 中处理大量数据或如何避免“在哪里”限制？

Question

谁能帮我解决 Firestore 中的聚合查询。 似乎 Firestore 是关于限制和限制的。

我有两个集合，我需要使用.limit()过滤来抓取一定数量的用户，然后我需要在另一个集合中查找对应的记录。

我使用where in 过滤器进行的第二个查询，但显然我在where in 过滤器的查询数组中只能有10 个项目。

我设法处理此请求的唯一方法是：

           async ({ query }: Request, res: Response) => {
                const users: any = [];
                const ids: any = [];
                const stats: any = [];

                await firestore.collection('users').limit(30).get()
                    .then((snapshot) => {
                        let i = 1;
                        let d: any = [];

                        snapshot.forEach(doc => {
                            users.push(doc.data());

                            if (i <= 9) {
                                d.push(doc.data().id);
                                i++;
                            } else if (i === 10) {
                                d.push(doc.data().id);
                                i = 1;
                                ids.push(d);
                                d = [];
                            }

                        });

                    }).catch(console.log);

                const promises: any = [];

                ids.forEach((tens: any, index: number) => {
                    if (tens) {
                        promises.push(firestore.collection('users_statistic').
                            where('user_id', 'in', ids[index])
                            .get()
                            .then((snapshot) => {
                                const data: any = [];

                                snapshot.forEach(doc => data.push(doc.data()))
                                return data;
                            }))
                    }
                });

                await Promise.all(promises).then(stat => {
                    stat.forEach(t => {
                        stats.push(...(t as []));
                    })
                }).catch(console.log);

                const sortedStats: any = {};
                users.forEach((user: any) => {
                    sortedStats[user.id] = stats.filter((data: any) => data.user_id === user.id);
                });

                const totals = [];

                for (const key in sortedStats) {
                    if (sortedStats.hasOwnProperty(key)) {
                        const value = sortedStats[key];

                        const clicks = value.reduce((acc: any, v: any) => acc + v.clicks, 0);
                        const views = value.reduce((acc: any, v: any) => acc + v.page_views, 0);

                        totals.push({
                            ...users[key],
                            clicks,
                            views
                        })
                    }
                }

                res.status(200).send(totals);

}

1. 我拿用户列表
2. 获取他们的 id 并制作包含最多 10 个 id 的批量数组
3. 制作请求列表并分配一个包含 10 个 ID 的数组（显然这不是一个好主意，我想避免它。我必须向 Firestore DB 发出许多请求）
4. Promise.all 我履行所有承诺
5. 过滤和排序结果准备输出数据

如果有任何帮助，我将不胜感激

提前致谢！

Answer 1

如果您需要运行大量临时聚合，那么 Firestore 可能不是最适合您的数据库。在这种情况下，您可能最好使用更适合临时查询的数据库，例如 BigQuery，它擅长对任意大型数据集进行此类聚合查询。

如果您想坚持使用 Firestore，请考虑预先聚合数据，这意味着您将聚合存储到数据库本身，并在每次相关的写入操作时更新它们。这意味着您将无法再临时执行它们，并且您的写入操作变得更加复杂，但好在检索聚合信息将变得非常简单。

这是您将在 NoSQL 数据库中看到的常见权衡：您需要针对您的用例定制数据结构，并且通常会权衡读/写可扩展性和成本。

这个话题已经出现了好几次，所以也可以看看：

• Is it possible to run aggregation queries in Firestore?，这可能是我应该立即指出的答案。
• How to optimize Firestore Caching and Querymodeling（上周的一个类似问题）
• How to create "likes count" Cloud Firestore aggregate function?
• Firebase: Reduce number of reads for a large collection
• How to get firestore collection response in an Array?
• Firebase aggregate values over property without fetching all relevant documents