oozie hive hadoop 工作答案

【问题标题】：oozie hive hadoop jobsoozie hive hadoop 工作
【发布时间】：2013-03-21 06:55:36
【问题描述】：

嗨，我可以在 hive 终端中运行 hive 命令，但是当我尝试通过 oozie 运行它时，我无法运行它，出现一些错误，并且日志文件如下所示

2013-03-21 11:55:48,973  INFO ActionStartXCommand:539 - USER[biadmin] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000005-130314190356094-oozie-biad-W] ACTION[0000005-130314190356094-oozie-biad-W@hive-node] Start action [0000005-130314190356094-oozie-biad-W@hive-node] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10]
2013-03-21 11:55:57,940  WARN HiveActionExecutor:542 - USER[biadmin] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000005-130314190356094-oozie-biad-W] ACTION[0000005-130314190356094-oozie-biad-W@hive-node] credentials is null for the action
2013-03-21 11:55:57,940  WARN HiveActionExecutor:542 - USER[biadmin] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000005-130314190356094-oozie-biad-W] ACTION[0000005-130314190356094-oozie-biad-W@hive-node] Could not find credentials properties for: null
2013-03-21 11:56:04,940  INFO HiveActionExecutor:539 - USER[biadmin] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000005-130314190356094-oozie-biad-W] ACTION[0000005-130314190356094-oozie-biad-W@hive-node] checking action, external ID [job_201303141654_0020] status [RUNNING]
2013-03-21 11:56:04,955  WARN ActionStartXCommand:542 - USER[biadmin] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000005-130314190356094-oozie-biad-W] ACTION[0000005-130314190356094-oozie-biad-W@hive-node] [***0000005-130314190356094-oozie-biad-W@hive-node***]Action status=RUNNING
2013-03-21 11:56:05,334  WARN ActionStartXCommand:542 - USER[biadmin] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000005-130314190356094-oozie-biad-W] ACTION[0000005-130314190356094-oozie-biad-W@hive-node] [***0000005-130314190356094-oozie-biad-W@hive-node***]Action updated in DB!
2013-03-21 11:56:33,520  INFO CallbackServlet:539 - USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000005-130314190356094-oozie-biad-W] ACTION[0000005-130314190356094-oozie-biad-W@hive-node] callback for action [0000005-130314190356094-oozie-biad-W@hive-node]
2013-03-21 11:56:34,214  INFO HiveActionExecutor:539 - USER[biadmin] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000005-130314190356094-oozie-biad-W] ACTION[0000005-130314190356094-oozie-biad-W@hive-node] action completed, external ID [job_201303141654_0020]
2013-03-21 11:56:34,365  WARN HiveActionExecutor:542 - USER[biadmin] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000005-130314190356094-oozie-biad-W] ACTION[0000005-130314190356094-oozie-biad-W@hive-node] Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.HiveMain], exit code [10]
2013-03-21 11:56:35,059  INFO ActionEndXCommand:539 - USER[biadmin] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000005-130314190356094-oozie-biad-W] ACTION[0000005-130314190356094-oozie-biad-W@hive-node] ERROR is considered as FAILED for SLA
2013-03-21 11:56:35,364  WARN CoordActionUpdateXCommand:542 - USER[biadmin] GROUP[-] TOKEN[] APP[hive-wf] JOB[0000005-130314190356094-oozie-biad-W] ACTION[-] E1100: Command precondition does not hold before execution, [, coord action is null], Error Code: E1100

【问题讨论】：

标签： hadoop mapreduce hive sqoop oozie

【解决方案1】：

这看起来像 Oozie 作业日志，它通常无法提供足够的信息让您找到问题的根源。您应该查看 map reduce 作业的任务日志。找到它的最简单方法是转到 Oozie Web 控制台（即http://example.example.com:11000/oozie/），双击有问题的 oozie 作业以打开它的作业信息，在作业信息选项卡上双击失败的 Hive 操作。在进入选项卡的操作上应该有一个控制台 URL 字段。打开该地址并单击链接以查找有关任务的更多信息（即使是成功的，因为 oozie 可以吞下蜂巢故障并向任务跟踪器报告成功。根据我的经验，有用的日志一直在成功的地图任务中）。查看日志，希望但不一定，您会找到一些可以缩小范围从“hive failed”的内容。

这不是问题的真实答案，所以如果有人想将此作为评论发布并将此答案标记为删除，请这样做。

【讨论】：

【解决方案2】：

错误来自 Oozie，协调器没有启动工作流，即，如果您以 root 用户启动 Oozie，请停止服务并使用您安装 Oozie 的用户重新启动 oozie。现在重新运行工作流程。

这会解决你的问题！！

【讨论】：

【解决方案3】：

上述错误是因为，您使用了不匹配的 hadoop 和 hive 版本。要清除此错误，请使用所需版本重建 oozie。要使用所需版本重建 oozie，请在 OOZIE_HOME 中编辑 pom.xml 文件。

<hadoop.version>x.x.x</hadoop.version>
 <hive.version>0.x.x</hive.version>
 <pig.version>0.x.x</pig.version>

编辑 pom 文件后，运行 OOZIE_HOME/bin/mkdistro.sh -DskipTests。

【讨论】：