如何在 hadoop 中读取 .deflate 文件答案

【问题标题】：How to read a .deflate file in hadoop如何在 hadoop 中读取 .deflate 文件
【发布时间】：2013-09-12 08:25:49
【问题描述】：

我得到了一些带有part-r-00000.deflate 扩展名的pig 生成文件。我知道这是一个压缩文件。如何生成可读格式的普通文件。当我使用hadoop fs -text 时，我无法获得明文输出。输出仍然是二进制的。我该如何解决这个问题？

【问题讨论】：

标签： hadoop

【解决方案1】：

您可能正在使用 fs -text 无法扩展压缩文件的 quite old Hadoop 版本（例如：0.20.0）。

作为一种解决方法，您可以尝试这种单线（基于this 答案）：

hadoop fs -text file.deflate | perl -MCompress::Zlib -e 'undef $/; print uncompress(<>)'

【讨论】：

【解决方案2】：

您可以使用此命令即时解压缩

hdfs dfs -text file.deflate | hdfs dfs -put - uncompressed_destination_file

【讨论】：