【问题标题】:HDFS Space Assignment (Size / Used / Available)HDFS 空间分配(大小/已用/可用)
【发布时间】:2017-04-02 07:02:35
【问题描述】:

我阅读了一些参考资料,但我仍然无法清楚地确定可用于在 HDFS 系统上存储文件的基本总大小是如何确定的。

如果我有一个运行 HDFS 服务的 1TB 磁盘,dfs 部分会在我添加文件时自然“增长”,还是默认分配给 DFS 的磁盘部分?

【问题讨论】:

    标签: hadoop hdfs bigdata


    【解决方案1】:

    是的,HDFS 的磁盘使用量会随着文件的添加而增长。 默认情况下,Datanodes 将尝试使用其存储目录dfs.datanode.data.dir 中的所有可用空间。

    Datanode的配置容量是

    Total Storage Capacity - Reserved Storage 
    

    Reserved Storage 默认为 0B。如果您希望在存储上保留一些空间供非 HDFS 使用,请在数据节点的 hdfs-site.xml 中添加此属性

    <property>
      <name>dfs.datanode.du.reserved</name>
      <value>107374182400</value> <!-- 100 GB reserved -->
      <description>Reserved space in bytes per volume. Always leave this much space free for non dfs use</description>
    </property>
    

    【讨论】:

    猜你喜欢
    • 2016-05-05
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-10-12
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多