在 hadoop 中查看 gzip 文件内容答案

【问题标题】：View gzipped file content in hadoop在 hadoop 中查看 gzip 文件内容
【发布时间】：2019-08-16 13:22:56
【问题描述】：

如何在 hdfs 中解压缩并查看压缩文件的几行。下面的命令显示压缩数据的最后几行

hadoop fs -tail /myfolder/part-r-00024.gz

有没有办法可以使用 -text 命令并将输出通过管道传输到 tail 命令？我试过了，但这不起作用。

hadoop fs -text /myfolder/part-r-00024.gz > hadoop fs -tail /myfolder/

【问题讨论】：

标签： hadoop

【解决方案1】：

下面会显示指定的行数而不解压整个文件：

hadoop fs -cat /hdfs_location/part-00000.gz | zcat | head -n 20

以下将分页文件，也无需先解压缩整个文件：

hadoop fs -cat /hdfs_location/part-00000.gz | zmore

【讨论】：

【解决方案2】：

尝试以下方法，只要您的文件不是太大（因为整个文件将被解压缩），应该可以工作：

hadoop fs -text /myfolder/part-r-00024.gz | tail

【讨论】：

我试过了。这在我的本地机器上创建了一个名为 tail 的文件，大小约为 9 GB。我的服务器是使用 hadoop MapR 客户端而不是 linux 服务器的 Windows 2008 服务器。
然后你必须运行一个将数据解压缩到 HDFS 的 hadoop 作业，然后我认为是尾解压缩的文件。
好的，我最终写了一个猪脚本来查看内容。谢谢

【解决方案3】：

我最终写了一个猪脚本。

A = LOAD '/myfolder/part-r-00024.gz' USING PigStorage('\t');
B = LIMIT A 10;
DUMP B;

【讨论】：

【解决方案4】：

使用gunzip查看压缩文件内容：

 hdfs dfs -cat /path/filename.gz | gunzip

【讨论】：