【发布时间】:2017-04-02 07:02:35
【问题描述】:
我阅读了一些参考资料,但我仍然无法清楚地确定可用于在 HDFS 系统上存储文件的基本总大小是如何确定的。
如果我有一个运行 HDFS 服务的 1TB 磁盘,dfs 部分会在我添加文件时自然“增长”,还是默认分配给 DFS 的磁盘部分?
【问题讨论】:
我阅读了一些参考资料,但我仍然无法清楚地确定可用于在 HDFS 系统上存储文件的基本总大小是如何确定的。
如果我有一个运行 HDFS 服务的 1TB 磁盘,dfs 部分会在我添加文件时自然“增长”,还是默认分配给 DFS 的磁盘部分?
【问题讨论】:
是的,HDFS 的磁盘使用量会随着文件的添加而增长。
默认情况下,Datanodes 将尝试使用其存储目录dfs.datanode.data.dir 中的所有可用空间。
Datanode的配置容量是
Total Storage Capacity - Reserved Storage
Reserved Storage 默认为 0B。如果您希望在存储上保留一些空间供非 HDFS 使用,请在数据节点的 hdfs-site.xml 中添加此属性
<property>
<name>dfs.datanode.du.reserved</name>
<value>107374182400</value> <!-- 100 GB reserved -->
<description>Reserved space in bytes per volume. Always leave this much space free for non dfs use</description>
</property>
【讨论】: