将数据从本地磁盘复制到 HDFS 联合中的 HDFS答案

【问题标题】：Copy data from local disk to HDFS in a federation of HDFS将数据从本地磁盘复制到 HDFS 联合中的 HDFS
【发布时间】：2015-05-03 04:31:57
【问题描述】：

我使用两台主机（hadoop-coc-1 和 hadoop-coc-2）尝试在其中配置 HDFS 联盟。因此，我在两台主机（hadoop-coc-1 和 hadoop-coc-2）中都配置了$ cat etc/hadoop/hdfs-site.xml。

两个 HDFS 都与 WebHDFS 一起正常运行。但是，使用此配置，defaultFS 服务未运行。也许这是我无法将数据从本地磁盘复制到 HDFS 的原因。

我尝试使用以下命令复制数据：

$ hdfs dfs -copyFromLocal ~/input1 webhdfs://hadoop-coc-1/
Java HotSpot(TM) Client VM warning: You have loaded library /home/xubuntu/Programs/hadoop-2.6.0/lib/native/libhadoop.so which might  have disabled stack guard. The VM will try to fix the stack guard now.
It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.
15/03/02 12:32:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
copyFromLocal: Connection refused


$ curl -i -X PUT -T ~/input1 "http://hadoop-coc-1:8080/?op=CREATE"
HTTP/1.1 100 Continue

HTTP/1.1 405 HTTP method PUT is not supported by this URL
Date: Mon, 02 Mar 2015 17:34:35 GMT
Pragma: no-cache
Date: Mon, 02 Mar 2015 17:34:35 GMT
Pragma: no-cache
Content-Length: 0
Server: Jetty(6.1.26)

我不明白为什么我不能将数据从本地磁盘复制到使用 WebHDfS 协议的 HDFS。对理解这个错误有什么帮助吗？为什么我无法将数据从本地磁盘复制到 HDFS？ hdfs-site.xml 配置好了吗？

hadoop-coc-1 和 hadoop-coc-2 主机中的 hdfs-site.xml。

<configuration>
    <property>
     <name>dfs.nameservices</name>
     <value>ns1,ns2</value>
    </property>
    <property>
     <name>fs.defaultFS.ns1</name>
     <value>hdfs://hadoop-coc-1:9000</value>
    </property>
    <property>
     <name>fs.defaultFS.ns2</name>
     <value>hdfs://hadoop-coc-2:9000</value>
    </property>
    <property>
     <name>dfs.namenode.rpc-address.ns1</name>
     <value>hadoop-coc-1:6600</value>
    </property>
    <property>
     <name>dfs.namenode.http-address.ns1</name>
     <value>hadoop-coc-1:8080</value>
    </property>
    <property>
     <name>dfs.namenode.secondaryhttp-address.ns1</name>
     <value>hadoop-coc-1:8080</value>
    </property>
    <property>
     <name>dfs.namenode.rpc-address.ns2</name>
     <value>hadoop-coc-2:6600</value>
    </property>
    <property>
     <name>dfs.namenode.http-address.ns2</name>
     <value>hadoop-coc-2:8080</value>
    </property>
    <property>
     <name>dfs.namenode.secondaryhttp-address.ns2</name>
     <value>hadoop-coc-2:8080</value>
    </property>
    <property>
     <name>dfs.webhdfs.enabled</name>
     <value>true</value>
    </property>
    <property>
     <name>dfs.support.append</name>
     <value>true</value>
    </property>
</configuration>

HDFS 的联合允许有多个命名空间来访问 HDFS。使用我的配置（参见 hdfs-site.xml），hadoop-coc-1 和 hadoop-coc-2 主机具有同一个 HDFS 的命名空间。我想知道是否可以在每个使用相同 HDFS 的主机上运行两个 YARN 运行时？

【问题讨论】：

标签： hadoop hdfs federation webhdfs

【解决方案1】：

默认的网络服务器端口是 50070，数据由端口 50075 上的网络服务器从数据节点流式传输。您是否在某处更改了此配置？

此外，当您尝试将数据复制到 webdfs 时，您没有指定端口

http://hadoop.apache.org/docs/r1.0.4/webhdfs.html

【讨论】：