【发布时间】:2016-09-04 19:22:33
【问题描述】:
我一直在尝试按照here 编写的说明在单个节点上安装 Hadoop。有两组指令,一组用于在本地运行 MapReduce 作业,另一组用于 YARN。
在本地运行 MapReduce 作业和在 YARN 上运行有什么区别?
【问题讨论】:
我一直在尝试按照here 编写的说明在单个节点上安装 Hadoop。有两组指令,一组用于在本地运行 MapReduce 作业,另一组用于 YARN。
在本地运行 MapReduce 作业和在 YARN 上运行有什么区别?
【问题讨论】:
如果你使用本地的 map 和 reduce 任务在同一个 jvm 中运行。通常在我们要调试代码时使用这种模式。而如果我们使用 MRV2 中的 yarn 资源管理器,mapper 和 reducer 将运行在不同的节点和同一个节点的不同 jvm(如果是伪分布式模式)。
【讨论】: