Heroku 上的 Node.js 应用程序的 MongoDB 查询需要 2-3 秒

Question

我在使用 MongoDB 时遇到了严重的性能问题。在少于 100 个文档的数据库中，简单的 find() 查询有时需要 2,000-3,000 毫秒才能完成。

我在 MongoDB Atlas M10 实例和我在 Digital Ocean 上设置的具有 4GB RAM 的 VM 上的集群中都看到了这一点。当我在 Heroku 上重新启动我的 Node.js 应用程序时，查询在 10 到 15 分钟内表现良好（少于 100 毫秒），但随后它们变慢了。

我是否错误地连接到 MongoDB 或从 Node.js 错误地查询？请在下面查看我的应用程序代码。或者这是共享 VM 环境中缺乏硬件资源？

任何帮助将不胜感激。我已经用解释查询和 Mongo shell 完成了我所知道的所有故障排除。

var Koa = require('koa'); //v2.4.1
var Router = require('koa-router'); //v7.3.0

var MongoClient = require('mongodb').MongoClient; //v3.1.3

var app = new Koa();
var router = new Router();

app.use(router.routes());

//Connect to MongoDB
async function connect() {
    try {
        var client = await MongoClient.connect(process.env.MONGODB_URI, {
            readConcern: { level: 'local' } 
        });
        var db = client.db(process.env.MONGODB_DATABASE);

        return db;
    }
    catch (error) {
        console.log(error);
    }
}

//Add MongoDB to Koa's ctx object
connect().then(db => {
    app.context.db = db;
});

//Get company's collection in MongoDB
router.get('/documents/:collection', async (ctx) => {
    try {
        var query = { company_id: ctx.state.session.company_id }; 

        var res = await ctx.db.collection(ctx.params.collection).find(query).toArray();

        ctx.body = { ok: true, docs: res };
    }
    catch (error) {
        ctx.status = 500;
        ctx.body = { ok: false };
    }
});

app.listen(process.env.PORT || 3000);

更新

我正在使用 MongoDB 更改流和标准服务器发送事件来为应用程序 UI 提供实时更新。我关闭了这些，现在 MongoDB 似乎再次表现良好。

是否已知 MongoDB 更改流会影响读/写性能？

Answer 1

我建议你做更多的日志工作。重启一段时间后的慢查询可能比您想象的要糟糕。

对于在普通机器上运行的现代数据库/Web 应用程序，如果操作正确，则不太容易遇到性能问题。可能存在内存泄漏或其他未释放的资源，或网络拥塞。

恕我直言，您可能想先确定这是否是网络问题，然后通过在 MongoDB 上启用慢查询日志并在查询开始和结束的位置记录您的代码，您可以做到这一点。

如果网络完全正常并且您没有看到 MongoDB 慢查询，这意味着您自己的应用程序出现问题。详细的日志记录可能真的有助于查询变慢的地方。

希望这会有所帮助。

Answer 2

更改流确实会影响服务器的性能。如this SO question 中所述。

正如accepted answer 中提到的那样，

MongoDB 的 Node.js 客户端中的default connection pool size 为 5。由于每个更改流游标都会打开一个新连接，因此连接池至少需要与游标数量一样大.

const mongoConnection = await MongoClient.connect(URL, {poolSize: 100});

（感谢 MongoDB Inc. 调查this issue。）

您需要增加池大小才能恢复正常性能。