如何在 hdfs 中压缩文件而不将其拉入本地文件系统

Question

是否可以在 hdfs 中压缩文件而不将其拉入本地系统驱动器？我通常通过hadoop fs -get filename 执行此操作，然后通过 linux zip 命令对其进行压缩...但我可以在 hdfs 本身中执行此操作吗？

Answer 1

您可以使用 Identity Mapper（输出与输入相同）而不是 reducer 创建 MapReduce 作业；配置要压缩的映射器输出。我想建议使用 GZip 或 LZO 代替 Zip 格式，但只有您知道您的要求。