【发布时间】:2018-01-12 06:39:36
【问题描述】:
通过在命令行中使用以下命令,我们可以获取 oozie 作业的作业详细信息,即使它仍在进行中。
export OOZIE_URL=http://..../oozie
oozie job -info 0177204-172227110941438-oozie-oozi-W
正在运行 oozie 工作流,在最后一个 shell 操作中,我试图将作业信息详细信息捕获到文件中。
job.sh
------------
job_id=${1}
export OOZIE_URL=http://..../oozie
oozie job -info job_id >> /tmp/job_id.txt
但是上面的命令不起作用。有没有办法,我们如何在正在运行的 oozie 作业中获取作业信息详细信息,并将其存储在文本文件中。
【问题讨论】:
-
“脚本不工作” > 这是什么意思?您是否收到 Oozie 错误,即 Action 的 YARN 日志中的 shell 语法错误?还是只是不知道在哪里可以找到在随机集群节点上创建的文件?
-
脚本正在运行,除了命令“oozie job -info $job_id >> /tmp/job_id.txt”并且没有抛出任何错误。当我对文件执行 cat 时,它是空的。其他语句在脚本中的工作位置。
-
您是否也尝试捕获
stderr?您是否检查了 YARN 日志中的 shell 语法错误(例如 Oozie 客户端未安装在该节点上,或者不在 YARN 设置的 PATH 中,或其他)?换句话说,你有没有做过任何基本的调试?? -
我也检查了 YARN 日志,没有语法错误,它完全忽略了该语句。除此以外,其余语句消息均已捕获。