读取大型 json 文件的最佳实践？ [关闭]

Question

我有一些存储为json的数据，最好将它们加载到mongodb或couchdb（可能在像Mongolab这样的远程主机上），像http://fatfreeframework.com/jig这样的平面文件json db，直接解析文件服务器使用 PHP（或 Node 等）或其他方法？这些文件很大，必须将它们加载到内存中并不好，但我对所有内容都持开放态度。

Answer 1

听起来你想要：

1. 以 JSON 格式存储大量数据
2. 查询特定 JSON 文档
3. 返回匹配文档的一小部分

我不能代表 CouchDB，但这在 MongoDB 中很容易：

1. 使用 mongoimport 将您的 JSON 文档加载到 MongoDB。

2. 使用ensureIndex()为您要查询的字段编制索引

3. 使用find()命令查询所需文档（criteria参数）并返回目标键子集（projection参数）

这里的主要限制是“巨大”JSON 文档的大小。 MongoDB 将每个文档限制为 16MB，因此如果它们大于该大小，您将需要删除一些数据或做一些花哨的技巧来使其工作。如果它们确实符合该限制，那么 MongoDB 应该是满足您要求的一个很好的方法。