【问题标题】:How to configure Avro MapReduce job to output results into a single file?如何配置 Avro MapReduce 作业以将结果输出到单个文件中?
【发布时间】:2014-07-08 13:26:10
【问题描述】:

我有一个三节点集群,当 Avro 作业完成时,它会创建三个输出文件(拆分文件),但是,我只想输出一个文件。有什么建议吗?

【问题讨论】:

    标签: hadoop mapreduce bigdata avro


    【解决方案1】:

    设置 mapred.reduce.tasks=1,但这可能会增加执行时间。

    您也可以在作业结束后使用 hadoop -getmerge 命令获取单个文件。

    【讨论】:

    • 感谢 Venkat,这实际上是一个耗时的过程,但至少它现在解决了我的问题。非常感谢:-)
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多