spark RDD 按两个值排序

【问题标题】：spark RDD sort by two valuesspark RDD 按两个值排序
【发布时间】：2016-08-26 02:08:55
【问题描述】：

我有一个RDD(name:String, popularity:Int, rank:Int)。我想按rank 对它进行排序，如果rank 匹配则按popularity。我通过两个转换来做到这一点。

var result = myRDD
        .sortBy(_._2, ascending = false)
        .sortBy(_._3, ascending = false)
        .take(10)

我可以一次转换吗？

【问题讨论】：

【解决方案1】：

您可以尝试创建一个键值的RDD，其中键为Tuple，由rank 和popularity 组成，值为name，并按键排序。

例如：

// _._1 - 名称

// _._2 - 流行度

// _._3 - 排名

var tupledRDD = myRDD.map(line => ((line._3, line._2), line._1))
.sortBy(_._1, ascending=false)
.take(10)

【讨论】：