【问题标题】:Running Yarn in Managed Mode在托管模式下运行 Yarn
【发布时间】:2014-07-10 17:40:01
【问题描述】:

我正在尝试以托管模式在https://github.com/hortonworks/simple-yarn-app 运行 simple-yarn-app。

  • 我已将 jar 从本地复制到 hdfs 之类的

    $ hadoop fs -copyFromLocal simple-yarn-app-1.0-SNAPSHOT.jar /simple-yarn-app-1.0-SNAPSHOT.jar
    
  • 当我尝试运行它时

    hadoop jar simple-yarn-app-1.0-SNAPSHOT.jar com.hortonworks.simpleyarnapp.Client /bin/date 2 /simple-yarn-app-1.0-SNAPSHOT.jar
    

    我得到FAILED 作为状态。我在$HADOOP_HOME/logs 查找日志,但没有找到相关日志。

  • HDFS 中的某处是否存在日志?

以下是我得到的错误:

`[[2~14/07/10 12:23:32 WARN util.NativeCodeLoader:无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类
2010 年 14 月 7 日 12:23:32 INFO client.RMProxy:在 /0.0.0.0:8032 连接到 ResourceManager
提交申请 application_1405002979164_0004
2010 年 7 月 14 日 12:23:32 INFO impl.YarnClientImpl:在 /0.0.0.0:8032 处将应用程序 application_1405002979164_0004 提交给 ResourceManager
应用程序 application_1405002979164_0004 在 1405013016326 完成状态为 FAILED

我收到以下诊断报告,

----------------故障诊断----------------
应用程序 application_1405062676632_0002 由于 AM Container for appattempt_1405062676632_0002_000002 退出 2 次,退出代码:-1000,原因是:.
这次尝试失败..
申请失败。

我应该如何调试或修复这个问题?

【问题讨论】:

  • 我建议你也添加hadoop-yarn/userlogs/application_1405062676632_0002的日志。您可能会在那里找到更多有用的信息。不幸的是,信息错误不是很清楚,JIRA 上有一个未解决的问题。
  • @eliasah 我没有看到任何名为 hadoop-yarn 的目录。我唯一拥有的用户日志目录位于 /home/prasanna/library/hadoop/hadoop-2.2.0/logs,我没有看到任何具有此应用程序 ID 的日志。
  • 然后尝试在 conf/ 文件夹中配置您的日志文件并重现您的错误

标签: hadoop hdfs hadoop-yarn microsoft-distributed-file-system hortonworks-data-platform


【解决方案1】:

以防万一其他人遇到同样的问题,在此应用程序以托管模式运行时,将 jar 上传到 hdfs 并提供 hdfs 路径。

bin/hadoop jar simple-yarn-app-1.0-SNAPSHOT.jar com.hortonworks.simpleyarnapp.Client /bin/date 2 hdfs://XXX/user/XYZ/apps/simple/simple-yarn-app- 1.0-SNAPSHOT.jar

【讨论】:

    猜你喜欢
    • 2015-08-02
    • 2016-03-06
    • 1970-01-01
    • 2023-03-26
    • 1970-01-01
    • 2014-06-17
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多