【发布时间】:2014-07-08 13:26:10
【问题描述】:
我有一个三节点集群,当 Avro 作业完成时,它会创建三个输出文件(拆分文件),但是,我只想输出一个文件。有什么建议吗?
【问题讨论】:
标签: hadoop mapreduce bigdata avro
我有一个三节点集群,当 Avro 作业完成时,它会创建三个输出文件(拆分文件),但是,我只想输出一个文件。有什么建议吗?
【问题讨论】:
标签: hadoop mapreduce bigdata avro
设置 mapred.reduce.tasks=1,但这可能会增加执行时间。
您也可以在作业结束后使用 hadoop -getmerge 命令获取单个文件。
【讨论】: