性能MongoDB java驱动答案

【问题标题】：Performance Mongodb java driver性能MongoDB java驱动
【发布时间】：2015-11-26 14:39:35
【问题描述】：

我在我的项目中使用 mongodb java 驱动程序对大型集合（500 万个文档）执行查询（查找、聚合、mapreduce 等）

驱动版本为：

<!-- MongoDB driver-->
<dependency>
  <groupId>org.mongodb</groupId>
  <artifactId>mongo-java-driver</artifactId>
  <version>3.0.3</version>
</dependency>

我的问题是当我使用 api find 和一些来自 java 的过滤器时，操作需要 15 秒。

....
Iterable<Document> messageList = collection.find().filter(... some filters).sort(... fields);

// Find documents
for (Document message : messageList) {
....
// some code
....
}

我检查了 mongo 服务器日志文件，发现跟踪是 COMMAND 而不是 QUERY：

2015-09-01T12:11:47.496+0200 I COMMAND [conn503] command b.$cmd command: count { count: "logs", query: { timestamp: { $gte: new Date(1433109600000) },应用程序：“APP1”，事件：“事件1”}}计划摘要：IXSCAN {时间戳：1，应用程序：1} keyUpdates：0 writeConflicts：0 numYields：19089 reslen：44锁：{全局：{acquireCount：{r：19090} }, MMAPV1Journal: { acquireCount: { r: 19090 } }, Database: { acquireCount: { r: 19090 } }, Collection: { acquireCount: { R: 19090 } } } 14297ms

如果我从 mongodb 客户端 (Robomongo) 运行相同的查询，则需要 0.05 毫秒。

db.getCollection('logs').find({ timestamp: { $gte: new Date(1427839200000) }, aplicacion: "APP1", event: "Event1" })

并且在服务器日志中是 QUERY

所有使用驱动java命令进行的查询（find、aggregate、...）都会被转换？性能比mongo shell差很多。

【问题讨论】：

您尝试过collection.find(... some filters...).sort(... fields); 吗？这不使用MongoCursor 的.filter 方法，而是在打开游标时提供过滤条件。这将更接近您的 shell 查询。
是的，我尝试但结果相同。
我刚刚注意到您的 shell 查询没有sort。也许这就是罪魁祸首？
没有。它有排序子句。为了更清楚，我没有在评论中设置它

标签： java mongodb

【解决方案1】：

我认为问题是当您在 mongo shell 中运行查询时，它一次只会返回前 20 个结果，在这里您尝试读取所有文档并将其放入数组中

试试这个查询看看

List messageList = collection.find(filter).sort(...field).limit(20).into(new ArrayList());

强烈建议在查询字段上创建索引。

【讨论】：

我不这么认为。我使用限制子句查询具有相同结果的分页。我知道建议创建索引。
限制结果后你是否面临同样的问题？
我刚刚看到，问题性能不是查找查询。它需要与 robomongo 客户端相同的时间。（15 毫秒）在此发现上瘾，我执行 count() 查询以获取文档总数（用于进行分页）。此查询耗时超过一分钟，有 250 万份文档。