Hadoop map/reduce 结构

Question

我想知道是否可以为 mapper/reducer 指定多个“键”；比如说我有一个如下的类

 class A {
     region
     name
     age
     .....
     more attributes
 }

我想根据三个不同的键提取信息：年龄、地区和姓名。

例如以年龄为键：

< age, attributes related to age >

然后将名称作为键：

< name, attributes related to name >

对于该地区也是如此；我现在的问题是，我是否必须创建不同的 map/reduce 作业，为每个作业提供不同的密钥？或者我可以在单个 map/reduce 作业中（安全地）做到这一点？

Answer 1

您也可以在单个 Map Reduce 作业中执行此操作。

您的 Mapper 将读取数据。假设这是序列化格式，其结构类似于您的类（自定义可写）。

您可以从映射器收集包含 2 个部分的复杂键形式的输出 - 您正在收集的内容：值，例如年龄：18。这可以是 Text 或自定义可再次写入。

根据您的用例，您可能需要使用分区器来确保所有带有 Age 的键都转到单个减速器，而带有名称的键转到另一个减速器。没有分区器所有年龄：18 的键都将转到同一个减速器。