cloudera 集群节点角色答案

【问题标题】：cloudera cluster node rolescloudera 集群节点角色
【发布时间】：2016-10-07 14:43:23
【问题描述】：

我需要在我的 cloudera CDH4 集群设置上运行简单的基准测试。我的 cloudera 集群设置 (CDH4) 有 4 个节点，A、B、C 和 D 我正在使用 cloudera manager 免费版来管理 cloudera 服务。每个节点都配置为执行多个角色，如下所述。 A : NameNode, JobTrackerNode, regionserver, SecondaryNameNode, DataNode, TaskTrackerNode B：数据节点、任务跟踪节点 C：数据节点、任务跟踪节点 D : DataNode, TaskTrackerNode

我的第一个问题是，一个节点可以是 NameNode 和 DataNode 吗？这个设置可以吗？我的第二个问题是，在 cloudera manager UI 上，我可以看到许多服务正在运行，但我不确定我是否需要所有这些服务？在我的设置上运行的服务是： hbase1 hdfs1 地图减少1 色调1 oozie1 动物园管理员1

我是否只需要 hdfs1 和 mapreduce1 服务。如果是，我该如何删除其他服务？

云和 hadoop 概念对我来说是新概念，如果我的某些假设不合逻辑或错误，请原谅我。

【问题讨论】：

标签： hadoop cloudera

【解决方案1】：

第一个问题的答案是肯定的。但是你永远不会在生产中这样做，因为 NameNode 需要足够的 RAM。人们通常只在他们的主节点上运行 NameNode+JobTracker。最好在另一台机器上运行 SecondarNameNode。

谈到您的第二个问题，Cloudera Manager 不仅仅是 Hadoop。它是一个完整的包，包括几个 Hadoop 子项目，如 HBase（一个 NOSQL DB）、Oozie（一个工作流引擎）等，这些是您在 UI 上看到的过程。

如果您只想使用 Hadoop，HDFS 和 MapReduce 就足够了。您可以从 UI 本身轻松停止其余进程。它不会对您的 Hadoop 集群造成任何损害。

HTH

【讨论】：