1. MapReduce
核心:Hadoop体系下一个编程模型(计算框架),主要是用来操作HDFS中存储数据并对HDFS中数据进行计算
2. Map+Reduce
Map:用来对局部数据进行运算 局部运算
Reduce:对局部运算的结果做汇总运算 汇总运算
Hadoop-MapReduce+Yarn核心原理
3. Yarn(统一资源调度器,任务资源管理器)
a. 整合hadoop集群中资源(CPU,内存)进行统一调度。 比如:12核,1234G;
监控map和reduce的执行情况
b. Yarn=ResoucerManage(Master)+NodeManager(slave)
c. ResoucerManager 仅仅进行资源统一调度
d. NodeManager 执行map,reduce作业,真正用来做计算的
Hadoop-MapReduce+Yarn核心原理
注意:
a. DataNode一定是NodeManager;
b. MapReduce相当于代码层面;
c. Yarn ResourceManager相当于分布式操作系统,进行分配资源
4. job作业
a. 一组MapReduce也称之为一个job作业,代表一种计算
b. hadoop的集群中一定执行多个job作业

相关文章:

  • 2022-01-13
  • 2021-07-17
  • 2021-05-16
  • 2021-10-22
  • 2021-08-30
  • 2021-12-16
  • 2021-12-26
  • 2021-07-09
猜你喜欢
  • 2021-04-20
  • 2021-07-26
  • 2022-12-23
  • 2021-06-03
  • 2022-12-23
  • 2022-01-12
  • 2022-12-23
相关资源
相似解决方案