【问题标题】:Doubts in cloudera manager installationcloudera manager安装的疑惑
【发布时间】:2015-12-12 02:14:42
【问题描述】:
谁能澄清一下,我只有一台安装了 Windows 7 的 4gb Ram 笔记本电脑,目前我在 vmware 中使用 Apache 分布式 hadoop1.x,我想用 cloudera manager 练习 Cloudera 分布式 hadoop,你能告诉我吗如何在 2gb ram 分配的 vmware 中安装 cloudera 管理器。是否可以使用 cloudera 管理器在 2gb Ram 中安装 cloudera 管理器并安装 Redhat linux 6?如果是的话,谁能告诉我在只有 2gb Ram 大小的 vmware 中安装它的步骤。
提前致谢。
【问题讨论】:
标签:
cloudera
cloudera-cdh
cloudera-manager
【解决方案1】:
简而言之:在 2GB 虚拟机上以伪分布式模式运行 CM 集群实例在理论上是可行的,但由于资源限制,可能会导致用户体验不佳,因此不推荐使用。强烈建议考虑在可用内存不少于 4GB 的机器上安装 CM 或使用现有的 Cloudera Quickstart VM(在操作系统开销之后)。
推理:
必须在安装时选择的所有选定组件(例如 HDFS、YARN)之间分配 2GB 的 RAM。给定一个准系统配置(HDFS + YARN),这将需要 2GB 分布在以下服务中:NameNode、Secondary NameNode、DataNode、ResourceManager、NodeManager、JobHistoryServer、Cloudera Manager Web UI、PostgreSQL 或在安装时间和 Cloudera Manager 管理服务(如果已配置)。
这将产生大约。 8-9 个应用程序/服务将被限制在 128MB 到 256MB 之间,这取决于使用情况,这可能会导致利用率挑战,例如 GC 抖动、OOM,甚至 CPU 和 RAM 争用。