带有查询的mongodb'count'非常慢答案

【问题标题】：mongodb 'count' with query is very slow带有查询的mongodb'count'非常慢
【发布时间】：2013-09-28 05:58:27
【问题描述】：

大家，我使用的是 mongodb 2.4.6 版本和 windows 2008 64 位。

我有一个包含两百万条记录的集合，需要在客户端进行搜索和分页。

db.products.find({"catalogs":1205}).skip().limit() is very fast .

但是当计算总记录数时：

db.products.find({"catalogs":1205},{"_id":1}).count() is too slow.

>> 442312 records.

>>[log] Sat Sep 28 00:20:01.566 [conn10] command products.$cmd command: { count: "products", query: { catalogs: 1205.0 }, fields: { _id: 1.0 } } ntoreturn:1 keyUpdates:0 locks(micros) r:460681 reslen:48 460ms

这个count命令经过的时间是460ms，太慢了。如果我们有很多请求那就太可怕了。

我为“目录”字段创建了索引，但无法使用 $inc 命令，因为查询可能非常复杂。

我在谷歌上搜索了一些类似的问题，发现这个“计数”性能错误已经在 mongodb 2.4 版本中修复。

来自http://docs.mongodb.org/manual/release-notes/2.4-overview/

Improvements to count provide dramatically faster count operations. Counting is now up to 20 times faster for low cardinality index based counts.

有什么方法可以提高计数？谢谢。

更新一些信息

> db.products.getIndexes()
[
    {
            "v" : 1,
            "key" : {
                    "_id" : 1
            },
            "ns" : "products.products",
            "name" : "_id_"
    },
    {
            "v" : 1,
            "key" : {
                    "catalogs" : 1,
                    "created" : -1
            },
            "ns" : "products.products",
            "name" : "catalogs_1_created_-1"
    }
]

查询和经过的时间：

>db.products.find({"catalogs":1205},{"_id":1}).limit(20)
>>Tue Oct 01 15:39:19.160 [conn2] query products.products query: { catalogs: 1205.0 } cursorid:277334670708253 ntoreturn:20 ntoskip:0 nscanned:21 keyUpdates:0 locks(micros) W:5045 r:1017 nreturned:20 reslen:704 1ms

查询解释：

>db.products.find({"catalogs":1205},{"_id":1}).explain()

{
    "cursor" : "BtreeCursor catalogs_1_created_-1",
    "isMultiKey" : true,
    "n" : 451466,
    "nscannedObjects" : 451466,
    "nscanned" : 451466,
    "nscannedObjectsAllPlans" : 451466,
    "nscannedAllPlans" : 451466,
    "scanAndOrder" : false,
    "indexOnly" : false,
    "nYields" : 2,
    "nChunkSkips" : 0,
    "millis" : 2969,
    "indexBounds" : {
            "catalogs" : [
                    [
                            1205,
                            1205
                    ]
            ],
            "created" : [
                    [
                            {
                                    "$maxElement" : 1
                            },
                            {
                                    "$minElement" : 1
                            }
                    ]
            ]
    },
    "server" : "WIN-O47CO6C2WXY:27017"

}

【问题讨论】：

我不明白你为什么在计数之前收集_ids？为什么不直接使用db.products.count({catalogs:1205})？
嗨，db.products.find({"catalogs":1205}).count() 和 db.products.find({"catalogs":1205},{"catalogs":1}).count() 也很慢。谢谢
你能在没有find 的情况下运行它吗？就像我上面写的那样？
来自日志文件：[conn1] 命令 products.$cmd 命令：{ count：“products”，查询：{ catalogs：1205.0 }，字段：{} } ntoreturn：1 keyUpdates：0 numYields： 2 个锁（微） r:1040534 reslen:48 587ms
@YevgeniyAnfilofyev 没有区别，count(whatever) 只是find().count() 的符号链接

标签： mongodb mongodb-.net-driver

【解决方案1】：

这个计数查询不是特别快的原因是它必须扫描索引中的 451466 个条目才能对条目进行计数。换句话说，您的查询相对于满足查询的条目的索引和大小而言不是很选择性。

【讨论】：

【解决方案2】：

count() 在计数之前遍历游标中的所有结果，这就是它这么慢的原因。请改用size()，相对于count()，它相当快。

【讨论】：

在 mongoDB 中没有 size() 之类的东西来计算适合查询的文档。