Firebase/Firestore 导入错误：(gcloud.firestore.import) 实体太大

Question

我试图克隆一个 Firestore 数据库。我找到了有关此主题的指南 (https://qrc.ninja/2019/03/20/cloning-firestore-data/)，因此我尝试完成本指南中的步骤。

为了导出数据库，我做了以下操作：

gcloud config set project [PROJECT_ID]
gcloud firestore export gs://[BUCKET_NAME]

要导入数据库，我做了以下操作：

gcloud config set project [DESTINATION_PROJECT_ID]
gsutil acl ch -u [RIGHTS_RECIPIENT]:R gs://[BUCKET_NAME]
gcloud firestore import gs://[BUCKET_NAME]/[TIMESTAMPED_DIRECTORY]

最后一步（gcloud firestore import ...）导致了这个错误：

ERROR: (gcloud.firestore.import) Entity too large

我搜索了这个问题，但我只能在这个页面的缓存谷歌结果中找到：https://cloud.google.com/datastore/docs/export-import-entities 上面写着：

导入操作使用目标项目的项目 ID 更新导入数据中的实体键和键引用属性。如果此更新增加了您的实体大小，则可能会导致导入操作出现“实体太大”或“索引条目太大”错误。 为避免任一错误，请导入具有较短项目 ID 的目标项目。

我的项目 ID 如下所示：XX-XXXXX-XXXXXXX。它有 16 个字符长。由于我的项目需要付费计划，因此仅使用较短的名称进行测试并不是免费的。

因此，如果 ID 确实存在问题，或者我是否可以尝试其他方法来克隆我的数据库，我将不胜感激。

更新：我可以通过导出/导入单个集合来克隆数据库。但我的一个收藏中有超过 79000 份文件。当我导出这个大型集合并尝试导入它时，我仍然得到

ERROR: (gcloud.firestore.import) Entity too large

Answer 1

此类问题通常与以某种方式增长超过允许大小的实体有关，并且在尝试恢复数据库（从导出然后导入）时出现问题。鉴于出口没有任何限制，问题出在进口中。项目 ID 不应该对问题做任何事情。

您可以通过import your data in BigQuery 自己检查较大的实体来检查这一点。 Cloud Datastore 实体应遵守设置的限制here，尤其是实体的大小。实体的大小是以下各项的总和：

• 密钥大小
• 属性大小的总和
• 32 字节

您可以手动检查每个实体的大小，方法是编写脚本或在 Big Query 中加载数据。实体大小的计算在 URL here 中定义。

另外，你可以运行命令：

gcloud datastore operations describe [OPERATION_ID]

使用导入操作 id 获取更多详细信息。

我找到了这个Public Issue Tracker。如前所述，这个问题应该通过修改受影响的实体来解决。