具有多个数据源的两个映射器

Question

我写了 2 个映射器 Map1 和 Map2

Map1- 在 HDFS 中读取一个 seq 文件并对其进行处理。

Map2- 从 HBASE 读取并生成与 Map1 相同的键值对。

最后我将它们合并到 ReducerAll 中。

问题是只有一个映射器正在运行，并且作业完成而没有任何类型的错误。只有最后一个映射器正在运行（即TableMapReduceUtil）。如果我交换行TableMapReduceUtil 和MultipleInputs，那么最后一个即MultipleInputs 映射器运行。

我在这里做错了什么？这两种情况都不会引发错误。我还使用 addCacheFile() 读取了 2 个文件进行处理，但我猜这并不重要。

Job job3 = Job.getInstance(config, "Test");
if (true) {


  job3.setJarByClass(Main.class);


  job3.setMapOutputKeyClass(ImmutableBytesWritable.class);
  job3.setMapOutputValueClass(ImmutableBytesWritable.class);
  job3.setOutputKeyClass(ImmutableBytesWritable.class);
  job3.setOutputValueClass(ImmutableBytesWritable.class);


  job3.getConfiguration().set("StartDate", c_startDate);
  job3.getConfiguration().set("EndDate", c_endDate);


  job3.addCacheFile(new URI(args[8]));
  job3.getConfiguration().set("abc", args[8].substring(args[8].lastIndexOf("/") + 1));

  job3.addCacheFile(new URI(args[9]));
  job3.getConfiguration().set("xyz", args[9].substring(args[9].lastIndexOf("/") + 1));
  job3.setReducerClass(ReducerAll.class);
  job3.setOutputFormatClass(SequenceFileOutputFormat.class);

  job3.setNumReduceTasks(10);

  Scan scan = new Scan();
  scan.setAttribute(Scan.SCAN_ATTRIBUTES_TABLE_NAME, Bytes.toBytes("hbasetable"));
  scan.setCaching(300);
  scan.setCacheBlocks(false);

  MultipleInputs.addInputPath(job3, new Path(args[6]), SequenceFileInputFormat.class, Map1.class);
  TableMapReduceUtil.initTableMapperJob(
          "hbasetable",
          scan,
          Map2.class,
          ImmutableBytesWritable.class,
          ImmutableBytesWritable.class,
          job3);


  FileOutputFormat.setOutputPath(job3, new Path(args[7]));
  job3.waitForCompletion(true);
  if (!job3.waitForCompletion(true)) {
    return (1);
  }

Answer 1

我相信这种行为是因为以下两行：-

MultipleInputs.addInputPath(job3, new Path(args[6]), SequenceFileInputFormat.class, Map1.class);
 TableMapReduceUtil.initTableMapperJob(
      "hbasetable",
      scan,
      Map2.class,
      ImmutableBytesWritable.class,
      ImmutableBytesWritable.class,
      job3); 

1. 只有一份工作job3
2. 虽然您提到有两个映射器，但请查看映射器类型。 Map1 中的映射器与Map2 将不同。 Map1 是 Mapper，Map2 是 TableMapper
3. 将这两个语句放在一起并不意味着它们本质上被合并到 job3 的 MultipleInputs setup 中。 MultipleInputs 仍然只有Map1 的一个设置。 Map2 的其他设置仍然是独立的。
4. 现在执行。两种配置 MultipleInputs 或 TableMapReduceUtil 中的后者覆盖 job3 中的前一个配置，因此只有一个映射器执行

PS：- 如果这不正确，请告诉我，我尚未验证我在我的机器上提出的理解。