我无法在 Hadoop 集群中执行 mapreduce 作业

Question

$ hadoop jar /usr/lib/hadoop/hadoop-streaming-2.6.0-cdh5.13.0.jar -file mapper.py -mapper mapper.py -file reducer.py -reducer reducer.py -input /user/cloudera/test.txt -output /user/cloudera/result

我正在使用此命令执行 MapReduce 程序，使用 Mapper asmapper.py 和 Reducer as reducer.py

它会抛出一个错误Not a valid JAR:/usr/lib/hadoop/hadoop-streaming-2.6.0-cdh5.13.0.jar

我正在使用 MobaXterm 和 VMBox，我的主目录是 /user/cloudera，映射程序位置 /user/cloudera/mapper.py 减速机位置/user/cloudera/reducer.py

Answer 1

如果您使用cloudera 分发进行练习，JAR 将无法在提到的位置/usr/lib/hadoop 中使用。 hadoop-streaming JAR 将出现在/usr/lib/hadoop-mapreduce/

使用JAR 的更新位置运行，它应该可以正常工作。