使用 security.UserGroupInformation 的 map-reduce 作业的 Hadoop 错误：PriviledgedActionException（没有这样的文件或目录）答案

【问题标题】：Hadoop error with map-reduce job with security.UserGroupInformation: PriviledgedActionException (no such file or directory)使用 security.UserGroupInformation 的 map-reduce 作业的 Hadoop 错误：PriviledgedActionException（没有这样的文件或目录）
【发布时间】：2014-02-08 09:52:41
【问题描述】：

我正在运行一个简单的流式 map-reduce 作业，但似乎无法解决此错误。

hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.2.1.jar -input textDataFiles/* -output counts -file /home/hduser/first/mapper.py -mapper mapper.py -file /home/hduser/first/reducer.py -reducer reducer.py

结果是：

Warning: $HADOOP_HOME is deprecated.

packageJobJar: [/home/hduser/first/mapper.py, /home/hduser/first/reducer.py] [] /tmp/streamjob1639740860313757975.jar tmpDir=null
14/01/19 00:04:57 INFO util.NativeCodeLoader: Loaded the native-hadoop library
14/01/19 00:04:57 ERROR security.UserGroupInformation: PriviledgedActionException as:hduser cause:ENOENT: No such file or directory
14/01/19 00:04:57 ERROR streaming.StreamJob: Error Launching job : No such file or directory
Streaming Command Failed!

我的 mapper 和 reducer 没有什么特别之处——它是一个简单的字数统计脚本。有什么建议吗？

【问题讨论】：

您的命令行显示正确，因为使用了 -file 到完整路径，然后没有调用路径。我也会对答案感兴趣。

标签： python mapreduce hadoop-streaming

【解决方案1】：

我最近在学校的 hadoop 集群上遇到了这个问题。
问题在于安装在常规文件系统上的 /tmp/hadoop-USERNAME 目录的权限。 USERNAME 代表我连接到的 linux 机器上的用户名。
删除那个目录解决了这个问题。

【讨论】：