【发布时间】:2015-05-21 08:00:08
【问题描述】:
我已经成功安装并启动了 CDH5 管理器和代理。但是,每当我尝试运行 MR hello world 作业时,即 WordCount,它会运行高达 33% 并且长时间保持相同的状态并且不会继续。
任何关于哪里可能出错的线索?
仅供参考,当尝试在终端中运行时,它工作正常。
【问题讨论】:
标签: hadoop cloudera-cdh word-count hue
我已经成功安装并启动了 CDH5 管理器和代理。但是,每当我尝试运行 MR hello world 作业时,即 WordCount,它会运行高达 33% 并且长时间保持相同的状态并且不会继续。
任何关于哪里可能出错的线索?
仅供参考,当尝试在终端中运行时,它工作正常。
【问题讨论】:
标签: hadoop cloudera-cdh word-count hue
建议切换 Hue 以使用 CherryPy 服务器而不是 Spawning。在 CM 中的 hue.ini 或 Hue 安全阀中,输入:
[desktop]
use_cherrypy_server = true
这些问题可能是由于蜂蜡崩溃或非常缓慢并阻塞所有请求,因为 Spawing Server 没有完全绿化
【讨论】:
Hue 可以使用 Oozie 提交作业,它需要更多的 MR 任务。通常问题是 Yarn 应用程序在您的集群中要求过多的内存(因此减少他们在 yarn 配置中的默认资源)或者它是 gotcha #5 http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/
【讨论】: