提交hadoop-streaming作业：yarn还是hadoop？

Question

使用yarn jar 命令和使用hadoop jar 命令提交hadoop-streaming 作业有什么区别？

这是来自current documentation：

hadoop jar hadoop-streaming-2.7.1.jar \
  -D mapreduce.job.reduces=2 \
  -input myInputDirs \
  -output myOutputDir \
  -mapper /bin/cat \
  -reducer /usr/bin/wc

但是这个命令也可以用：

yarn jar hadoop-streaming-2.7.1.jar \
  -D mapreduce.job.reduces=2 \
  -input myInputDirs \
  -output myOutputDir \
  -mapper /bin/cat \
  -reducer /usr/bin/wc

如果这两个命令是等价的（我认为它们是等价的），哪个是首选，为什么？

Answer 1

如果您的 MapReduce 框架是 YARN，它们是相等的。如果没有，hadoop jar 将使用 MRv1 运行您的 jar 文件，yarn jar 将使用 YARN(MRv2) 运行您的 jar。