Hadoop文件系统副本-namenode vs datanode

【问题标题】：Hadoop filesystem copy - namenode vs datanodeHadoop文件系统副本-namenode vs datanode
【发布时间】：2015-09-04 15:13:23
【问题描述】：

我需要将文件从我的文件系统复制到 HDFS，下面是我在 hdfs-site.xml 中的配置。我应该如何使用“hadoop fs”命令将 /home/text.txt 中的文件复制到 HDFS 中？我应该将它复制到namenode还是datanode？

 <configuration>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/local/hadoop_store/hdfs/namenode</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/usr/local/hadoop_store/hdfs/datanode</value>
 </property>
</configuration>

【问题讨论】：

标签： apache hadoop filesystems hdfs

【解决方案1】：

您使用什么 hadoop 版本？目录dfs.namenode.name.dir用于存储元数据，目录dfs.datanode.data.dir用于存储真实数据（如用户数据）。

如果你想将文件上传到 HDFS，你不需要将它复制到 namenode 或 datanode。因为 HDFS 会做到这一点。最后，您的数据将存储在 DataNode 上。

您可以使用常用的bin/hadoop fs -mkdir /input 和bin/hadoop fs copyFromLocal /home/text.txt /input。第一个命令是在 HDFS 上创建“输入”目录，第二个是将文件复制到 HDFS。

【讨论】：