Hadoop YARN 版本可能的流式命令行选项的完整列表是什么？答案

【问题标题】：What is the complete list of streaming command line options possible for Hadoop YARN version?Hadoop YARN 版本可能的流式命令行选项的完整列表是什么？
【发布时间】：2019-06-27 22:55:08
【问题描述】：

我在浏览 Hadoop 网站时发现了以下有关 hadoop 流的链接。

https://hadoop.apache.org/docs/current1/streaming.html

但是，我对 Hadoop YARN (MRv2) - 流式命令行选项更感兴趣。

如果有人有详尽的清单，你能把它贴在这里吗？

如果没有找到，谁能告诉我以下命令中的命令行选项是否非法。

yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-streaming.jar \
    -D mapred.jab.name="Streaming wordCount Rating" \
    -D mapreduce.job.output.key.comparator.class=org.apache.hadoop.mapreduce.lib.partition.KeyFieldBasedComparator \
    -D map.output.key.field.separator=\t \
    -D mapreduce.partition.keycomparator.options=-k2,2nr \
    -D mapreduce.job.reduces=${NUM_REDUCERS} \
    -files mapper2.py,reducer2.py \
    -mapper "python mapper2.py" \
    -reducer "python reducer2.py" \
    -input ${OUT_DIR} \
    -output ${OUT_DIR_2} > /dev/null

【问题讨论】：

标签： hadoop mapreduce hadoop-yarn hadoop-streaming

【解决方案1】：

如果您想查看所有 Hadoop 流式命令行选项，请参阅 StreamJob.java - setupOptions()：

    allOptions = new Options().
      addOption(input).
      addOption(output).
      addOption(mapper).
      addOption(combiner).
      addOption(reducer).
      addOption(file).
      addOption(dfs).
      addOption(additionalconfspec).
      addOption(inputformat).
      addOption(outputformat).
      addOption(partitioner).
      addOption(numReduceTasks).
      addOption(inputreader).
      addOption(mapDebug).
      addOption(reduceDebug).
      addOption(jobconf).
      addOption(cmdenv).
      addOption(cacheFile).
      addOption(cacheArchive).
      addOption(io).
      addOption(background).
      addOption(verbose).
      addOption(info).
      addOption(debug).
      addOption(help).
      addOption(lazyOutput);

与 MapReduce 相关的选项是所有 MapReduce 应用程序的通用选项，要查看它们是否有效，请查看 mapred-default.xml 配置变量。仅供参考：这是指 Hadoop 2.8.0，因此您可能需要为您的 Hadoop 版本找到合适的 XML。

【讨论】：