【问题标题】:Storing Large JSON (size > 16 MB) into MongoDB将大型 JSON(大小 > 16 MB)存储到 MongoDB
【发布时间】:2020-09-23 20:13:27
【问题描述】:

由于最大 16 MB 的大小限制,我无法将大型 JSON(大小 ~70MB)导入 MongoDB。

使用 GridFS,我能够将 JSON 上传到 MongoDB,但无法检索纯文本格式的数据(JSON 数据),因为 GridFS 存储在二进制块中。 fs.chunks 中的记录格式如下:

{
"_id":"<ObjectId>",
"files_id":"<ObjectId>",
"n":"<num>",
"data":"Binary(<Binary Data>)"
}

现在我的问题是

1) 如何解码和读取data:Binary(&lt;Binary Data&gt;) 中的数据?
2) GridFS 是存储大型 JSON 的最佳选择吗?我发现大多数多媒体都使用 GridFS 存储在 MongoDB 中。


如果有最好的选择,请告诉我。

【问题讨论】:

  • 那个 JSON 是 70MB 的单个文档吗?
  • 是的,它是一个单文档 JSON。这就是拆分成更小的 JSON 的问题。

标签: json mongodb gridfs mongoimport


【解决方案1】:

GridFS 提供了用于读取文件的 API。 API 因驱动程序而异。

如果您希望对数据执行查询(即,除了在存储文件时读回文件之外的其他任何操作),您需要将其分解成更小的部分。

【讨论】:

猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-06-08
  • 2018-12-14
  • 1970-01-01
相关资源
最近更新 更多