【问题标题】:Why does mongodb complain about transparent_hugepage?为什么mongodb抱怨transparent_hugepage?
【发布时间】:2015-06-09 02:29:31
【问题描述】:

关于如何修复 mongodb 警告的一些问题已经在询问:

** WARNING: /sys/kernel/mm/transparent_hugepage/defrag is 'always.'
**        We suggest setting it to 'never'

但我想知道是否应该修复它。我在运行在谷歌云上的 Ubuntu VM 上从 MongoDB 3.0.1 收到此警告。我应该相信“从不”更好的 MongoDB 吗?或者我应该相信谷歌/Ubuntu他们有充分的理由将其设置为“始终”吗?我想有一些权衡需要考虑,不知道我会交易什么来保留或修复它。

询问如何解决它很好,但询问是否修复它似乎更明智。

【问题讨论】:

  • 查看方式是 Google/Ubuntu 将其设置为“始终”,因为这在一般情况下很好,而 MongoDB 建议在特殊情况下“从不”更好(特殊情况正在运行 MongoDB)

标签: linux mongodb virtual-machine


【解决方案1】:

编辑:自从我写了这个答案后,Mongodb 已经解决了这个问题。他们的建议是https://docs.mongodb.com/master/tutorial/transparent-huge-pages/,可能应该是您的首选解决方案。我的原始答案仍然有效,但现在有官方解决方案可用,我认为这是一个 hack。

原始答案:根据 MongoDB 文档 http://docs.mongodb.org/manual/reference/transparent-huge-pages/ 和支持 https://jira.mongodb.org/browse/DOCS-2131,transparent_hugepage (THP) 旨在创建更少的大内存块,而不是系统中的许多小内存块有很多内存。如果您的软件需要大量的连续内存访问,这将非常有用。然而,对于 MongoDB,无论可用内存如何,它都需要大量较小的内存访问,因此在禁用 THP 的情况下性能更好。

这让我认为任何一种方式都可以,但是在关闭 THP 的情况下,您将获得更好的 mongo(或任何数据库)性能,从而为您提供更小的内存。如果你反正没有太多内存,那么无论你运行什么,THP 都应该关闭。

上面的链接中概述了几种方法。最普遍适用的似乎是编辑 rc.local。

$ sudo nano /etc/rc.local

在“exit 0”行之前插入以下行。

...
if test -f /sys/kernel/mm/transparent_hugepage/khugepaged/defrag; then
  echo 0 > /sys/kernel/mm/transparent_hugepage/khugepaged/defrag
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
  echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
  echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
exit 0

注意:基于 redhat 的系统可能使用“redhat_transparent_hugepage”而不是“transparent_hugepage”,可以通过以下方式检查:

ls /sys/kernel/mm/*transparent_hugepage*/enabled
cat /sys/kernel/mm/*transparent_hugepage*/enabled

要应用更改,请重新启动(将运行 rc.local)或:

$ sudo su
# source /etc/rc.local
# service mongod restart
# exit

正确应用上面所做的更改

【讨论】:

  • 谢谢!执行此操作并重新启动后,我仍然收到错误消息。我需要按照您的描述重新启动 mongod 服务才能使其正常工作。
  • 在 Ubuntu 14.04 上尝试了很多东西,终于成功了。谢谢!
【解决方案2】:

对于使用 upstart 脚本的 Ubuntu:

由于我们使用 Ansible 部署机器,我不喜欢修改 rc 文件或 GRUB 配置。

我尝试使用sysfsutils / sysfs.conf,但在快速(或慢速机器)上启动服务时遇到了时间问题。看起来有时 mongod 是在 sysfsutils 之前启动的。有时有效,有时无效。

由于 mongod 是一个新贵进程,我发现最干净的解决方案是添加具有以下内容的文件 /etc/init/mongod_vm_settings.conf

# Ubuntu upstart file at /etc/init/mongod_vm_settings.conf
#
#   This file will set the correct kernel VM settings for MongoDB
#   This file is maintained in Ansible

start on (starting mongod)
script
  echo "never" > /sys/kernel/mm/transparent_hugepage/enabled
  echo "never" > /sys/kernel/mm/transparent_hugepage/defrag
end script

这将在 mongod 启动之前运行脚本。 重启 mongod (sudo service mongod restart) 并完成。

【讨论】:

    【解决方案3】:

    这些都不适用于运行 Ubuntu 14.04 的 Amazon ec2 实例,甚至 MongoDB 推荐的 init.d 脚本也不行。我必须使用hugeadm 工具,首先通过apt-get 安装它,然后运行sudo hugeadm --thp-never,这个post 将我指向hugeadm。我仍在试图弄清楚如何禁用 transparent_hugepage 碎片整理。 hugeadm 似乎没有一个简单的方法来做到这一点。

    【讨论】:

      【解决方案4】:

      在 Ubuntu 中,我使用了本文档的“初始化脚本”选项:http://docs.mongodb.org/manual/tutorial/transparent-huge-pages/

      【讨论】:

      • 这是处理它的好方法!在作为无头服务器运行的系统上,这可能比 rc.local 更可取,尤其是。
      猜你喜欢
      • 2020-08-12
      • 2016-02-27
      • 1970-01-01
      • 1970-01-01
      • 2018-11-17
      • 2022-11-08
      • 2019-07-18
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多