跨服务器将压缩文件移动到 Hadoop HDFS答案

【问题标题】：Move a compressed file across servers to Hadoop HDFS跨服务器将压缩文件移动到 Hadoop HDFS
【发布时间】：2016-09-02 21:18:15
【问题描述】：

我有数百个大型 lzo 压缩文件位于我想复制到 Hadoop DFS 的服务器上。对于未压缩的文件，我使用的常用命令是

cat someFile | ssh uname@hadoop "hadoop dfs -put - /data/someFile"

我假设这不适用于压缩文件（因为cat 可能没有意义）。我是否首先需要将文件复制到名称节点和放置：

scp someFile.lzo uname@hadoop:~/ #on remote server
hadoop dfs -put someFile.lzo /data/ #on Hadoop server
rm ~/someFile.lzo

似乎应该有更好的方法来做到这一点。

【问题讨论】：

【解决方案1】：

如果您的客户端机器（有大文件的服务器）可以安装 hadoop 客户端库，那么您在任何情况下都不需要 cat 文件。

可以使用的命令：

hadoop dfs -cp localfilename hdfsipaddress:hdfsport(通常 9000) :hdfs 路径

【讨论】：