【问题标题】:Importing large number of records in json file to mongodb将json文件中的大量记录导入mongodb
【发布时间】:2015-02-03 07:41:35
【问题描述】:

我刚开始学习构建 nodejs 应用程序。我能够弄清楚事情是如何工作的,所以我决定用大量的测试数据来测试我的应用程序。 我创建了包含 100 万条记录的 json 文件。

我使用

导入数据
mongoimport --host 127.0.0.1 --port 27017 --collection customers --db Customer --file "path to json file mock.json" --jsonArray

示例 Json 文件是

[{"fname":"Theresia","lname":"Feest","email":"aileen@okeefe.name"},
{"fname":"Shannon","lname":"Bayer","email":"tristian.barrows@christiansenvandervort.com"},
{"fname":"Cora","lname":"Baumbach","email":"domenico.grimes@lesley.co.uk"},
{"fname":"Carolina","lname":"Hintz","email":"betty@romaguerasenger.us"},
{"fname":"Dovie","lname":"Bartell","email":"rogers_mayert@daniel.biz"}]

但是大约花费了太多时间。 14 小时。

请建议任何其他优化方法。

【问题讨论】:

  • 查看this帖子
  • @KrishnaPullakandam 感谢正确的方向,这真的很有帮助。 JSON 数组在某种程度上比新行中的 json 数据慢
  • 很高兴知道。 mongoimport 可能正在拆分文件以并行导入。使用数组我猜它必须将数据放入缓冲区并加载它。现在需要多少时间?
  • 以前是 20/秒,现在是 8k/秒到 9k/秒。 :-),这是巨大的差异。

标签: mongodb import


【解决方案1】:

将单个 json 文件拆分为多个文件,然后为每个文件运行多个并行 mongoimport 命令。

【讨论】:

    猜你喜欢
    • 2013-02-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-10-04
    • 1970-01-01
    • 2011-12-24
    • 2017-10-14
    相关资源
    最近更新 更多