Mapreduce 映射器将键和值作为文本字段传递答案

【问题标题】：Mapreduce mapper to pass both key and value as text fieldsMapreduce 映射器将键和值作为文本字段传递
【发布时间】：2016-12-07 08:19:49
【问题描述】：

我有一个小项目，其中有一个包含 2 个制表符分隔的文本列的文件。我希望我的映射器从文件中读取它们并将第二列设置为键，将第一列设置为减速器的值，但我似乎无法完成它。然后，我想将 (key, value) 对传递给 reducer，它将为每个键创建一个包含所有值的列表。

public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

    private final static IntWritable one = new IntWritable(1);
    private Text site = new Text();
    private Text tag = new Text();

    public void map(Object key, Text value, Context context) 
                        throws IOException, InterruptedException {

        StringTokenizer itr = new StringTokenizer(value.toString(), "\t");
        while (itr.hasMoreTokens()) {
            site.set(itr.nextToken());
            tag.set(itr.nextToken());
            context.write(tag, site);
        }
    }
}

conext.write 行出现错误。我该如何解决这个问题？

【问题讨论】：

标签： java mapreduce inputformatter

【解决方案1】：

您在context.write(tag, site); 中写入的值（站点）是Text 对象，但您拥有Mapper<Object, Text, Text, IntWritable>。你应该把它改成Mapper<Object, Text, Text, Text>。

此时你告诉它你将输出一个IntWritable 作为值。

您也可以删除 private final static IntWritable one = new IntWritable(1);，因为它没有被使用。

【讨论】：