1.MapReduce编程规范及示例编写
Mapper
    用户自定义一个Mapper类继承HadoopMapper
    Mapper的输入数据是
KV对的形式(类型可以自定义)
    Map阶段的业务逻辑定义在
map()方法中
    Mapper的输出数据是
KV对的形式(类型可以自定义)
注意:
map()方法是对输入的一个KV对调用一次!!  简单点说 在读取文本的时候 每一行数据会触发一次Map任务
举个栗子 wordcount:

LongWritable, Text, Text, IntWritable
LongWritable:读取文本的偏移量(行级偏移量)
Text:读取文本一行的数据
Text:map的输出
IntWritable:计数 比如说一个单词算一次 那么就算1
 

Reducer类
    用户自定义Reducer
类要继承HadoopReducer
    Reducer的输入数据类型对应
Mapper的输出数据类型(KV对)
    Reducer的业务逻辑写在
reduce()方法中
Reduce()方法是对相同K的一组KV对调用执行一次 涉及到多路归并排序 到reduce的数据会是hello,<1,1,1,1,1>
所以在重写reduce方法时values是一个迭代器:
Text key, Iterable<IntWritable> values, Context context
举个栗子 wordcount:
Text, IntWritable, Text, IntWritable
Text, IntWritable:map的输出
Text:reduce的输出
IntWritable:最终的计数

Driver阶段
创建提交YARN
集群运行的Job对象,其中封装了MapReduce程序运行所需要的相关参数入输入数据路径,输出数据路径等,也相当于是一个YARN集群的客户端,主要作用就是提交我们MapReduce程序运行

MR 笔记一

相关文章:

  • 2021-04-27
  • 2022-12-23
  • 2021-06-19
  • 2022-12-23
  • 2021-10-22
  • 2021-07-04
  • 2021-09-22
  • 2022-01-06
猜你喜欢
  • 2022-01-07
  • 2021-10-05
  • 2021-04-02
  • 2022-12-23
  • 2021-09-23
  • 2021-11-20
  • 2021-12-14
相关资源
相似解决方案