【问题标题】:Data node capacity increase is not detected by the HDFSHDFS未检测到数据节点容量增加
【发布时间】:2018-06-23 08:18:13
【问题描述】:

我有一个由 4 台虚拟机(1 台主机和 3 台从机)组成的虚拟 hadoop 集群,最近在集群中的数据节点中增加了 100GB 容量。问题是 HDFS 没有检测到这种增加。我重新启动了datanode,namenode并格式化了HDFS,但没有影响。我该如何解决这个问题?

【问题讨论】:

  • 添加是什么意思?您是否将 Datanode 目录的路径添加到 hdfs-site.xml 中?
  • 你不需要格式化 HDFS 只是为了添加一个新的数据节点卷。您确实需要在 /etc/fstab 中安装卷并使用新的安装点编辑数据节点上的 hdfs-site.xml
  • @cricket_007 没有新卷!有一个 500GB 的卷,现在添加了 100GB。当卷没有改变时,我应该在 /etc/fstab 中挂载什么? (不要忘记机器是虚拟的)。
  • @Abhinav,“添加”表示增加。是的,我在属性“dfs.datanode.data.dir”中添加了datanode目录的路径。现在,没有新目录。我刚刚更改了卷的大小。问题是 HDFS 无法检测到这种增加,并且容量保持在之前的相同值。

标签: hadoop hdfs


【解决方案1】:

我正在编写添加数据节点/增加 hdfs 卷大小的步骤:

  • 在根目录中创建一个文件夹,例如。 /hdfsdata

  • 在 home 下创建一个文件夹,例如。 /home/hdfsdata

  • 向“hdfs”用户提供此文件夹的权限:chown hdfs:hadoop -R /home/hdfsdata

  • 为此文件夹提供文件/文件夹权限:chmod 777 -R /home/hdfsdata.

  • 挂载这个新文件夹:mount --bind /home/hdfsdata/ /hdfsdata/

  • 最后,将这个新创建的目录添加到属性“dfs.datanode.data.dir”下的hdfs-site.xml中,并用逗号分隔值。

当我 cd 到 /hadoop/hdfs/data 时

完成上述步骤后,重启 HDFS 服务,你的容量就增加了。

【讨论】:

  • 我做了所有的步骤,但容量没有改变
  • 有什么特别的错误吗?你在使用 HDP od CDH 吗?
  • 对上面评论的编辑:当我将路径(/home/hdfsdata)添加到属性“dfs.datanode.data.dir”时,datanode的容量增加了20GB。但为什么是 20 GB?我使用 apache hadoop 发行版。
  • 您希望添加多少内存?以及您添加到 datanode 的文件夹,使用“df 或 du”命令检查该特定文件夹的大小。
  • 我增加了 100GB,所以我希望 HDFS 增加了 100GB。我检查了目录的大小,那是 20GB!但我的磁盘上有 100GB 可用空间。我应该增加目录的大小吗?
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2018-08-23
  • 1970-01-01
  • 1970-01-01
  • 2013-11-12
  • 2019-09-22
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多