hadoop 字数统计并获取出现的最大字数

Question

我对 hadoop 很陌生。我已经完成了字数统计，现在我想做一个修改。

我想获取文本文件中出现次数最多的单词。如果，正常的字数统计程序给出一个输出：

a 1
b 4
c 2

我想编写只给我输出的程序

b 4

这里是我的减速器函数::

public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> 
{

 int max_sum=0;
 Text max_occured_key;

 public void reduce(Text key, Iterable<IntWritable> values, Context context) 
  throws IOException, InterruptedException 
  {
    int sum = 0;
    for (IntWritable val : values) 
    {
        sum += val.get();           
    }
    if(sum > max_sum)
    {
        max_sum = sum;
        max_occured_key = key;

    }

    context.write(max_occured_key, new IntWritable(max_sum));
    //context.write(key, new IntWritable(sum));

  }

}

但它没有给出正确的输出。 有人可以帮忙吗？

Answer 1

您在每个 reduce 函数的末尾写出迄今为止的最大值 - 因此每个 reducer 将获得不止一个条目。当您将键的引用复制到您的 max_occured_key 变量（而不是复制值）时，您还会遇到引用重用问题。

你应该修改如下：

• 在构造时初始化 max_occured_key 变量（为空文本）
• 调用max_occured_key.set(key);而不是使用equals赋值 - 对reduce方法的所有迭代重复使用key参数的引用，因此实际对象将保持不变，只是每次迭代都会修改底层内容
• 覆盖清理 method 并将 context.write 调用移至该方法 - 这样您将只获得每个减速器的一对 K、V 输出。

例如：

@Override
protected void cleanup(Context context) {
  context.write(max_occured_key, new IntWritable(max_sum));
}

一旦所有数据通过您的 map 或 reduce 任务，就会调用 cleanup 方法（并且每个任务实例都会调用该方法（因此，如果您提供 10 个 reducer，则将为每个实例调用此方法）。