一、背景
按照年份升序排序，同时每一年中温度降序排序
data文件为1949年-1955年每天的温度数据。
要求：1、计算1949-1955年，每年温度最高的时间
2、计算1949-1955年，每年温度最高的十天
1949-10-01 14:21:02 34℃ 1949-10-02 14:01:02 36℃ 1950-01-01 14:21:02 32℃ 1950-10-01 11:01:02 37℃ 1951-10-01 14:21:02 23℃ 1950-10-02 17:11:02 41℃ 1950-10-01 18:20:02 27℃ 1951-07-01 14:01:02 45℃ 1951-07-02 13:21:02 46℃
二、二次排序原理
默认情况下，Map 输出的结果会对 Key 进行默认的排序，但是有时候需要对 Key 排序的同时再对 Value 进行排序，这时候就要用到二次排序了。下面让我们来介绍一下什么是二次排序。
2.1 Map起始阶段
在Map阶段，使用job.setInputFormatClass()定义的InputFormat，将输入的数据集分割成小数据块split，同时InputFormat提供一个RecordReader的实现。在这里我们使用的是TextInputFormat，它提供的RecordReader会将文本的行号作为Key，这一行的文本作为Value。这就是自定 Mapper的输入是<LongWritable,Text> 的原因。然后调用自定义Mapper的map方法，将一个个<LongWritable,Text>键值对输入给Mapper的map方法
2.2 Map最后阶段
在Map阶段的最后，会先调用job.setPartitionerClass()对这个Mapper的输出结果进行分区，每个分区映射到一个Reducer。每个分区内又调用job.setSortComparatorClass()设置的Key比较函数类排序。可以看到，这本身就是一个二次排序。如果没有通过job.setSortComparatorClass()设置 Key比较函数类，则使用Key实现的compareTo()方法
2.3 Reduce阶段
在Reduce阶段，reduce()方法接受所有映射到这个Reduce的map输出后，也会调用job.setSortComparatorClass()方法设置的Key比较函数类，对所有数据进行排序。然后开始构造一个Key对应的Value迭代器。这时就要用到分组，使用 job.setGroupingComparatorClass()方法设置分组函数类。只要这个比较器比较的两个Key相同，它们就属于同一组，它们的 Value放在一个Value迭代器，而这个迭代器的Key使用属于同一个组的所有Key的第一个Key。最后就是进入Reducer的 reduce()方法，reduce()方法的输入是所有的Key和它的Value迭代器，同样注意输入与输出的类型必须与自定义的Reducer中声明的一致。
三、二次排序流程
在本例中要比较两次。先按照第年份排序，然后再对年份相同的按照温度排序。根据这一点，我们可以构造一个复合类KeyPair ，它有两个字段，先利用分区对第一字段排序，再利用分区内的比较对第二字段排序。二次排序的流程分为以下几步。
3.1 自定义key
所有自定义的key应该实现接口WritableComparable，因为它是可序列化的并且可比较的。WritableComparable 的内部方法如下所示
// 反序列化，从流中的二进制转换成IntPair public void readFields(DataInput in) throws IOException // 序列化，将IntPair转化成使用流传送的二进制 public void write(DataOutput out) // key的比较 public int compareTo(IntPair o) // 默认的分区类 HashPartitioner，使用此方法 public int hashCode() // 默认实现 public boolean equals(Object right)
3.2 自定义分区
自定义分区函数类FirstPartitioner，是key的第一次比较，完成对所有key的排序。
public static class FirstPartitioner extends Partitioner< IntPair,IntWritable>
在job中使用setPartitionerClasss()方法设置Partitioner
job.setPartitionerClasss(FirstPartitioner.Class);
3.3 自定义排序类
这是Key的第二次比较，对所有的Key进行排序，即同时完成IntPair中的first和second排序。该类是一个比较器，可以通过两种方式实现。
1) 继承WritableComparator。
public static class KeyComparator extends WritableComparator
必须有一个构造函数，并且重载以下方法。
public int compare(WritableComparable w1, WritableComparable w2)
2) 实现接口 RawComparator。
上面两种实现方式，在Job中，可以通过setSortComparatorClass()方法来设置Key的比较类。
job.setSortComparatorClass(KeyComparator.Class);
3.4 自定义分组类
在Reduce阶段，构造一个与 Key 相对应的 Value 迭代器的时候，只要first相同就属于同一个组，放在一个Value迭代器。定义这个比较器，可以有两种方式。
分组的实质也是排序，此例子中排序是按照年份和温度，而分组只是按照年份。
1) 继承WritableComparator。
public static class KeyComparator extends WritableComparator
必须有一个构造函数，并且重载以下方法。
public int compare(WritableComparable w1, WritableComparable w2)
2) 实现接口 RawComparator。
上面两种实现方式，在Job中，可以通过setSortComparatorClass()方法来设置Key的比较类。
job.setGroupingComparatorClass(GroupingComparator.Class);
另外注意的是，如果reduce的输入与输出不是同一种类型，则 Combiner和Reducer 不能共用 Reducer 类，因为 Combiner 的输出是 reduce 的输入。除非重新定义一个Combiner。
四、代码实现
思路：
1、按照年份升序排序，同时每一年中温度降序排序
2、按照年份分组，每一年对应一个reduce任务
import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.WritableComparable; public class KeyPair implements WritableComparable<KeyPair> { private int year; //年份 private int hot; //温度 public int getYear() { return year; } public void setYear(int year) { this.year = year; } public int getHot() { return hot; } public void setHot(int hot) { this.hot = hot; } @Override public void readFields(DataInput in) throws IOException { this.year = in.readInt(); this.hot = in.readInt(); } @Override public void write(DataOutput out) throws IOException { out.writeInt(year); out.writeInt(hot); } //重写compareTo方法，用作key的比较，先比较年份，年份相同再比较温度 @Override public int compareTo(KeyPair o) { int y = Integer.compare(year, o.getYear()); if(y == 0){ return Integer.compare(hot, o.getHot()); } return y; } @Override public String toString() { return year+"\t"+hot; } }