【问题标题】:Error while running mapreduce program on hadoop using java使用java在hadoop上运行mapreduce程序时出错
【发布时间】:2016-09-04 15:34:21
【问题描述】:

大家好,我正在关注http://www.tutorialspoint.com/hadoop/hadoop_mapreduce.htm。使用这个运行程序后

hadoop jar units.jar hadoop.ProcessUnits input_dir output_dir

我收到以下错误:

16/09/04 20:32:14 警告 util.NativeCodeLoader:无法加载 适用于您平台的 native-hadoop 库...使用内置 java 类 在适用的情况下

16/09/04 20:32:15 INFO Configuration.deprecation:session.id 已弃用。相反,使用 dfs.metrics.session-id

16/09/04 20:32:15 INFO jvm.JvmMetrics:使用 processName=JobTracker, sessionId= 初始化 JVM 指标

16/09/04 20:32:15 INFO jvm.JvmMetrics:无法使用 processName=JobTracker、sessionId= 初始化 JVM 指标 - 已初始化

16/09/04 20:32:15 警告 mapreduce.JobResourceUploader:Hadoop 命令行 未执行选项解析。实现Tool接口并执行 你的应用程序使用 ToolRunner 来解决这个问题。

16/09/04 20:32:15 INFO mapreduce.JobSubmitter:清理暂存区文件:/app/hadoop/tmp/mapred/staging/hduser932260839/.staging/job_local932260839_0001 线程“main”中的异常 ExitCodeException exitCode=1: chmod: cannot 使用权 `/app/hadoop/tmp/mapred/staging/hduser932260839/.staging/job_local932260839_0001': 没有这样的文件或目录

【问题讨论】:

  • 您确定这是一个错误吗?这些消息看起来都像是可以忽略的信息或警告。如果你的程序没有按预期运行,它在做什么?
  • 你肯定看看最后它在那里显示一个异常......请帮帮我......我们有 chmod 无法访问线程“main”中的异常 ExitCodeException exitCode=1: chmod: cannot访问`/app/hadoop/tmp/mapred/staging/hduser932260839/.staging/job_local932260839_0001':没有这样的文件或目录
  • INFO mapreduce.JobSubmitter:清理暂存区文件:/app/hadoop/tmp/mapred/staging/hduser932260839/.staging/job_local932260839_0001 线程“main”中的异常 ExitCodeException exitCode=1:chmod:无法访问`/app/hadoop/tmp/mapred/staging/hduser932260839/.staging/job_local932260839_0001':没有这样的文件或目录
  • @vinith 你能解决这个问题吗?我面临着类似的情况:stackoverflow.com/questions/63002836/…

标签: java hadoop mapreduce


【解决方案1】:

从报错的最后几行可以看出,你运行的java程序无法访问文件夹/app/hadoop/............

解决方案是像这样更改文件夹 /app/hadoop 的所有权:

chown USER_NAME /app/hadoop

将“USER_NAME”替换为您的用户名。 效果很好!

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-01-21
    • 2013-08-27
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多