林子雨-5.2 键值对RDD

目录

 

1、创建键值对RDD

从文件加载

通过并行集合创建

2、常用的键值对RDD转换操作（reduceByKey和groupByKey）

3、keys,values.sortByKey,mapValues,join

4、综合实例

 

1、创建键值对RDD

从文件加载

通过并行集合创建

2、常用的键值对RDD转换操作（reduceByKey和groupByKey）

groupByKey的valueList以Iterable的形式保存（放在Iterable容器中）

用groupByKey和reduceByKey完成词频统计

3、keys,values.sortByKey,mapValues,join

keys：把key取出形成新的RDD

values：与keys同理

sortByKey()：默认按Key升序排序（false为降序）

sortBy()：.sortBy(_._2,false)按值降序排序

mapValues(fanc)

只对value进行操作

join

4、综合实例