【发布时间】:2016-02-02 07:23:16
【问题描述】:
是否有可用命令将文件从HDFS 复制到另一个linux 框。
集群是安全的。
我希望copyToLocal会复制集群内的文件,其实我想复制集群外的文件。
【问题讨论】:
-
这篇文章展示了如何使用scp从HDFS传输,stackoverflow.com/questions/12173715/…
是否有可用命令将文件从HDFS 复制到另一个linux 框。
集群是安全的。
我希望copyToLocal会复制集群内的文件,其实我想复制集群外的文件。
【问题讨论】:
您可以使用 WebHDFS 将文件复制到本地计算机。例如,请参见此处:http://hortonworks.com/blog/webhdfs-%E2%80%93-http-rest-access-to-hdfs/。
由于您的集群是安全的(我想使用 Kerberos),您需要获取 Kerberos 票证(使用 kinit),并在 curl 命令中添加如下标志:-udummy:dummy --negotiate。
【讨论】: