Hadoop：如何在同一个作业中输出不同的格式类型？

Question

我想在一个作业中同时输出gzip 和lzo 格式。

我使用了MultipleOutputs，并添加了两个这样的命名输出：

MultipleOutputs.addNamedOutput(job, "LzoOutput", GBKTextOutputFormat.class, Text.class, Text.class);

GBKTextOutputFormat.setOutputCompressorClass(job, LzoCodec.class);

MultipleOutputs.addNamedOutput(job, "GzOutput", TextOutputFormat.class, Text.class, Text.class);

TextOutputFormat.setOutputCompressorClass(job, GzipCodec.class);

(GBKTextOutputFormat这里是我自己写的，扩展FileOutputFormat)

它们用于减速器，例如：

multipleOutputs.write("LzoOutput", NullWritable.get(), value, "/user/hadoop/lzo/"+key.toString());

multipleOutputs.write("GzOutput", NullWritable.get(), value, "/user/hadoop/gzip/"+key.toString());

结果是：

我可以在两个路径中获得输出，但它们都是gzip 格式。

有人可以帮助我吗？谢谢！

================================================ =============================

更多：

刚刚在FileOutputFormat中查看了setOutputCompressorClass的源码，其中conf.setClass("mapred.output.compression.codec", codecClass, CompressionCodec.class);

似乎在调用 setOutputCompressorClass 时，配置中的 mapred.output.compression.codec 会被重置。

所以实际的压缩格式是我们最后设置的，不能在同一个job中设置两种不同的压缩格式？或者还有什么被忽略的？

Answer 1

所以也许作为一种解决方法，尝试直接在配置中设置正确的 outputCompressorClass

context.getConfiguration().setOutputCompressorClass(GzipCodec.class);

就在您对每个输出的写入调用之前。看起来，除了键类、值类和输出路径之外的任何输出格式配置参数都没有被 MultipleOutputs 很好地处理，我们可能需要编写一些代码来抵消这种疏忽。