Couchbase 索引器正在吃掉所有的内存答案

【问题标题】：Couchbase indexer is eating all the memoryCouchbase 索引器正在吃掉所有的内存
【发布时间】：2019-03-11 23:51:24
【问题描述】：

Couchbase 索引器正在占用所有内存，即使配置为 4 gig 内存限制也是如此。 db 没有被任何应用程序使用，只需重新启动机器并运行 couchbase 和 1.5 亿个文档。索引构建进度为 100%。

服务器是 Community Edition 5.1.1 build 5723。

也可以手动：

curl -X POST -u 管理员：密码 http://127.0.0.1:8091/pools/default -d ‘indexMemoryQuota=4000’

重新启动后，或手动命令后，内存被清除，但又恢复增长，2 小时后，它从总共 64 gig 的 24%，即 15 gig 和增长.. 它不会停止直到内存已满。

知道如何正确配置它吗？

谢谢，阿迪。

【问题讨论】：

索引器服务现在达到 43% 并且还在增长。
现在是 18.5%？这可能是压实？但我将索引器设置为 4 giga，两次。
恢复增长... 22%
看起来有几个错误仍然存在，您可能需要关注这个问题：issues.couchbase.com/browse/MB-19883 和 issues.couchbase.com/browse/MB-19895
这些错误来自 2016 年版本 4.5.0。我们是 2 年后，版本为 5.1.1。这是一个严重的错误，不仅仅是一个小错误，我们无法工作。在我们发言时，也就是我之前发表评论的 2 小时后，索引器已经打开了 32%。不可接受。

标签： couchbase

【解决方案1】：

当您看到高内存使用并共享输出文件时，请运行以下命令。

curl http://<host>:9102/debug/pprof/heap -u <username>:<password> > indexer.mprof

curl http://<host>:9102/debug/pprof/goroutine?debug=1 -u <username:password> > indexer.gr

一旦您捕获了上述信息，您可以尝试应用以下设置，重新启动索引器并查看这是否有助于系统行为：

curl -X POST -u <user:pass> http://<ip>:9102/settings --data '{"indexer.dataport.dataChanSize": 1000}'

curl -X POST -u <user:pass> http://<ip>:9102/settings --data '{"indexer.stream_reader.fdb.workerBuffer": 1000}'

curl -X POST -u <user:pass> http://<ip>:9102/settings --data '{"indexer.stream_reader.fdb.mutationBuffer": 1000}'

【讨论】：

它现在占用了 45% 的内存。几乎 30 gig 而不是 4 个。以下是文件：drive.google.com/open?id=19aGSkzH8vbe5OQn2JueGiMovYDfmESZk 我运行了命令，一切正常，重新启动机器。我会尽快更新。非常感谢您的帮助。
没有帮助。索引器现在 10% 并且还在增长...（6.4 gig 而不是 4 gig 限制）
从内存配置文件来看，内存使用来自存储引擎。社区存储引擎中没有足够的细粒度统计数据来获取更多详细信息。看起来较早的崩溃可能导致存储处于不良状态。您可以尝试删除/重新创建索引。此外，由于 4 个索引的总索引数据约为 160GB，因此索引器 RAM 配额最好为 10GB。这应该有助于它更好地发挥作用。
删除所有索引。没有索引 - 完全没有。重新启动机器。等了 2 个小时才看到内存打印，0.5% - 好。尝试再次创建一个索引，我得到：“msg”：“GSI CreateIndex() - 原因：在创建索引期间遇到错误。错误=恢复中的索引器\n。”
感谢分享日志。我看到在重新启动之前删除了 4 个索引中的 3 个。最后一个索引在重新启动后被删除。虽然这样做不是问题，但不幸的是，系统遇到了罕见的竞争条件。我已经提交了一张票来解决根本问题。 issues.couchbase.com/browse/MB-31592 同时，您需要终止索引器进程以使其脱离此状态，您应该能够再次开始创建索引。