MapReduce 计数问题

Question

我是 hadoop 新手，我尝试制作一个程序，该程序将接受一个描述带有边的图形的输入文件（例如：(A,B), (A,C), (B,D), (A,D)）我想计算每个顶点的度数并像这样显示它：

 (A,B) d(A)=3
 (A,C) d(A)=3
 (A,D) d(A)=3
 (A,B) d(B)=2
 (B,D) d(B)=2
 (A,C) d(C)=1
 (A,D) d(D)=2
 (B,D) d(D)=2

目前我能够使我的地图运行良好（拆分 2 个顶点并将 <Key, Value> 发射为 <Vertex, Edge>（例如：<A, (A,B)>），但 reduce 有一个我无法理解的问题。当我在 for 循环之外执行 context.write(key, result); 时，显示的结果始终为 1。我尝试调试，但变量 sum 具有正确的值。

减少：

public void reduce(Text key, Iterable<Text> values, 
                  Context context
                  ) throws IOException, InterruptedException {
    int sum = 0;
    for (Text val : values) {
         sum+=1;
         result.set("d("+ key +")=" + sum);
         // WRITE INSIDE THE LOOP
         context.write(key, result);
    } 
}

结果：

A   d(A)=1
A   d(A)=2
A   d(A)=3
B   d(B)=1
B   d(B)=2
C   d(C)=1
D   d(D)=1
D   d(D)=2

减少 v2：

public void reduce(Text key, Iterable<Text> values, 
                  Context context
                  ) throws IOException, InterruptedException {
    int sum = 0;
    for (Text val : values) {
         sum+=1;
         result.set("d("+ key +")=" + sum);
    } 
    // WRITE HERE NOW
    context.write(key, result);
}

结果 v2：

A   d(A)=1
B   d(B)=1
C   d(C)=1
D   d(D)=1

您能告诉我代码有什么问题或/以及为什么会这样吗？

Answer 1

Reducer 的两个代码版本都存在问题。您可以使用 v2，但需要进行更改 将此 result.set("d("+ key +")=" + sum); 拉出循环。

使用此代码：

public void reduce(Text key, Iterable<Text> values, 
                  Context context
                  ) throws IOException, InterruptedException {
    int sum = 0;
    for (Text val : values) {
         sum+=1;
    } 
    result.set("d("+ key +")=" + sum);
    // WRITE HERE NOW
    context.write(key, result);
}