如何在不达到 1MB 大小限制的情况下将大型数组嵌入 Google Cloud Datastore？

Question

我的项目主要使用谷歌的两种不同工具：

1. Natural Language API，用于分析和保存数百个文档的实体和语法
2. Datastore 用于存储每个文档及其从 Google NL API 检索到的数据

我绝对必须保存令牌和实体，否则我每次处理给定文档时都必须调用 Google NL API。

但是，当文档超过一千字时（即非常频繁），我无法将文档保存在 Google 数据存储区中。

我收到 400 错误消息 entity is too big。大约 2 到 5MB，具体取决于主题。

当我尝试 Blob 时，我也有 The value of property 'tokens' is longer than 1048487 bytes。

我尝试序列化数组并将其转换为 Blob，但结果相同。

有什么方法可以在不迁移到 MongoDB 的情况下完成这项工作？

Answer 1

我可以建议你 3 个选项：

1. 使用压缩。 （战术）通常文本数据被很好地压缩。所以你可能开始适应 1MB 的限制

2. 使用分片。将数据拆分为多个实体并一起存储/读取它们。根据需要加入阅读。

3. 迁移到 Blob 存储。例如https://cloud.google.com/storage/

还有其他选项/解决方案，但这 3 个可能最容易实现。