LXC 上的 Cloudera 安装 dfs.datanode.max.locked.memory 问题答案

【问题标题】：Cloudera installation dfs.datanode.max.locked.memory issue on LXCLXC 上的 Cloudera 安装 dfs.datanode.max.locked.memory 问题
【发布时间】：2015-05-24 23:32:00
【问题描述】：

我在我的mac机器上创建了virtual box，ubuntu 14.04LTS环境。在 ubuntu 的虚拟盒子中，我创建了三个 lxc 容器的集群。一个用于主节点，另外两个节点用于从节点。

在master上，我已经开始使用以下链接http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin安装CDH5

我还在 /etc/hosts 中进行了必要的更改，包括 FQDN 和主机名。还创建了名为“ubuntu”的无密码用户。

在设置 CDH5 时，在安装过程中，我经常在数据节点上遇到以下错误。最大锁定内存大小：dfs.datanode.max.locked.memory 922746880 字节大于数据节点的可用 RLIMIT_MEMLOCK ulimit 65536 字节。

Exception in secureMain: java.lang.RuntimeException: Cannot start datanode because the configured max locked memory size (dfs.datanode.max.locked.memory) of 922746880 bytes is more than the datanode's available RLIMIT_MEMLOCK ulimit of 65536 bytes.
at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:1050)
at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:411)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2297)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2184)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2231)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2407)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2431)

【问题讨论】：

标签： hadoop hdfs cloudera-cdh lxc cloudera-manager

【解决方案1】：

克鲁纳尔，

这个解决方案对你来说可能会迟到，但也许它可以帮助其他人，所以就在这里。确保您的 ulimit 设置正确。但万一它是一个配置问题。

转到：

/run/cloudera-scm-agent/process/

找到最新的配置目录，在这种情况下：

1016-hdfs-DATANODE

在此目录中搜索参数：

grep -rnw . -e "dfs.datanode.max.locked.memory"
./hdfs-site.xml:163:    <name>dfs.datanode.max.locked.memory</name>

并将值编辑为他在您的情况下所期望的值（65536）

【讨论】：

【解决方案2】：

我通过在 Cloudera 中打开一个单独的选项卡并从那里设置值来解决

【讨论】：