Hadoop：键和值在输出文件中以制表符分隔。如何做到分号分隔？

Question

我认为标题已经在解释我的问题。我想改变

key (tab space) value

进入

key;value

在所有输出文件中，reducer 都是从映射器的输出生成的。

我无法使用 google 找到关于此的良好文档。谁能提供一小部分代码来说明如何实现这一点？

Answer 1

由于缺乏更好的文档，以下是我收集的内容：

    setTextOutputFormatSeparator(final Job job, final String separator){
            final Configuration conf = job.getConfiguration(); //ensure accurate config ref

            conf.set("mapred.textoutputformat.separator", separator); //Prior to Hadoop 2 (YARN)
            conf.set("mapreduce.textoutputformat.separator", separator);  //Hadoop v2+ (YARN)
            conf.set("mapreduce.output.textoutputformat.separator", separator);
            conf.set("mapreduce.output.key.field.separator", separator);
            conf.set("mapred.textoutputformat.separatorText", separator); // ?
    }

Answer 2

您可以使用“KeyValueLineRecordReader”的“KEY_VALUE_SEPERATOR”属性来指定您选择的分隔符。

Answer 3

将配置属性mapred.textoutputformat.separator设置为";"