使用 hadoop map reduce 比较两个文本文件答案

【问题标题】：comparing two text files using hadoop map reduce使用 hadoop map reduce 比较两个文本文件
【发布时间】：2015-05-27 09:14:49
【问题描述】：

我想逐行比较两个文本文件以确定它们是否相等。如何使用 hadoop map reduce 编程来做到这一点？

static int i=0;
public void map(LongWritable key, String value, OutputCollector<String,IntWritable> output, Reporter reporter) throws IOException {
      String line = value.toString();
     i++; //used as a line number
        output.collect(line, new IntWritable(i));
 }

我尝试用行号映射每一行。但是如何减少它并与另一个文件进行比较？

【问题讨论】：

我尝试编写与字数相同的 map reduce 代码。但我不知道如何比较两个不同文件中的两行
在问题中发布代码以开始。
通过在谷歌中搜索，我知道我需要使用两个具有相同键（公共键）的映射器类，但我不知道该怎么做@mins
以下链接对我帮助很大kickstarthadoop.blogspot.co.il/2011/09/…

标签： hadoop mapreduce hadoop2

【解决方案1】：

比较两个文本文件相当于在 map reduce 编程中加入两个文件。要加入两个文本文件，您必须使用两个具有相同键的映射器。在您的情况下，您可以将键用作线偏移，将值用作线。 MultipleInputs() 方法用于使用多个映射器和多个文本文件。

请在下面找到使用 JAVA 在 map-reduce 编程中比较两个文本文件的详细程序。

程序的参数是文件1，文件2和输出文件

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.MultipleInputs;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class CompareTwoFiles {

    public static class Map extends
            Mapper<LongWritable, Text, LongWritable, Text> {

        @Override
        public void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
            context.write(key, value);
        }
    }

    public static class Map2 extends
            Mapper<LongWritable, Text, LongWritable, Text> {

        @Override
        public void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
            context.write(key, value);
        }
    }

    public static class Reduce extends
            Reducer<LongWritable, Text, LongWritable, Text> {

        @Override
        public void reduce(LongWritable key, Iterable<Text> values,
                Context context) throws IOException, InterruptedException {
            String[] lines = new String[2];
            int i = 0;
            for (Text text : values) {
                lines[i] = text.toString();
                i++;
            }
            if (lines[0].equals(lines[1])) {
                context.write(key, new Text("same"));
            } else {
                context.write(key,
                        new Text(lines[0] + "     vs    " + lines[1]));
            }

        }

    }

    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();
        conf.set("fs.default.name", "hdfs://localhost:8020");
        Job job = new Job(conf);
        job.setJarByClass(CompareTwoFiles.class);
        job.setJobName("Compare Two Files and Identify the Difference");
        FileOutputFormat.setOutputPath(job, new Path(args[2]));
        job.setReducerClass(Reduce.class);
        job.setOutputKeyClass(LongWritable.class);
        job.setOutputValueClass(Text.class);
        MultipleInputs.addInputPath(job, new Path(args[0]),
                TextInputFormat.class, Map.class);
        MultipleInputs.addInputPath(job, new Path(args[1]),
                TextInputFormat.class, Map2.class);
        job.waitForCompletion(true);

    }

}

【讨论】：