首先看一下MapReduce的工作流程图


Tez学习笔记 --- Tez与MapReduce原理与分析




Tez工作流程图


Tez学习笔记 --- Tez与MapReduce原理与分析



从上面两个图可以看出,Tez可以将多个有依赖的作业转换为一个作业(这样只需写一次HDFS,且中间节点较少),从而大大提升DAG作业的性能。Tez已被Hortonworks用于Hive引擎的优化,经测试,性能提升约100倍。





相关文章:

  • 2022-02-05
  • 2021-09-01
  • 2021-03-31
  • 2021-07-15
  • 2021-11-14
  • 2021-08-18
  • 2021-09-18
猜你喜欢
  • 2022-12-23
  • 2021-11-13
  • 2021-12-27
  • 2021-09-01
  • 2021-07-18
  • 2021-09-15
相关资源
相似解决方案