如何在 Hadoop 2.x 中增加 hdfs 的容量

Question

我一直在尝试寻找如何使用 spark 2.0.0 在 Hadoop 2.7.2 中增加 hdfs 的容量。

我读到了这个link。

但我不明白。这是我的 core-site.xml

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>hadoop_eco/hadoop/tmp</value>
  </property>

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://com1:9000</value>
  </property>
</configuration>

和 hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>hadoop_eco/hadoop/name</value>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>hadoop_eco/hadoop/data</value>
  </property>

  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
 </configuration>

当我使用 1 个名称节点和 10 个数据节点运行 spark 时，我收到以下错误消息：

org.apache.hadoop.hdfs.StateChange: DIR* completeFile: /user/spark/_temporary/0/_temporary/attempt_201611141313_0001_m_000052_574/part-00052 由 DFSClient_NONMAPREDUCE_1638755846_140 关闭

我无法识别此错误，但它可能与磁盘容量不足有关。

我配置的容量（hdfs）是499.76GB，每个datanode的容量是49.98GB。

那么，有没有办法增加hdfs的容量呢？

Answer 1

我解决了。

改变hdfs的容量就是这么简单。

我尝试更改 hdfs-site.xml

  <property>
     <name>dfs.datanode.data.dir</name>
     <value>file://"your directory path"</value>
  </property>

并使用这个命令行

hadoop namenode -format stop-all.sh start-all.sh

最后使用hdfs dfsadmin -report检查你的hdfs容量