webhdfs 两步上传文件

Question

我用 4 台机器构建了一个 hadoop 集群：

• {主机名}：{IP 地址}
• 主人：192.168.1.60
• slave1: 192.168.1.61
• slave2: 192.168.1.62
• slave3：192.168.1.63

我使用HttpFS以restful方式上传文件到hdfs，完成任务包含两个步骤。

• 第 1 步：提交 HTTP POST 请求，不自动跟随重定向，也不发送文件数据。

  curl -i -X POST "http://192.168.1.60:50070/webhdfs/v1/user/haduser/myfile.txt?op=APPEND"

服务器返回结果如下：

位置：http://slave1:50075/webhdfs/v1/user/haduser/myfile.txt?op=CREATE&user.name=haduser&namenoderpcaddress=master:8020&overwrite=false

• 第二步：使用响应地址上传文件。

在第 1 步中，如何获取数据节点的 IP 地址（192.168.1.61）而不是主机名（slave1）？

Answer 1

如果您的 hadoop 版本>=2.5，则在每个数据节点配置 ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml 文件。 添加： 属性 dfs.datanode.hostname， 该值为datanodes的ip地址。