如何为hadoop设置服务器？ (CDH)

【问题标题】：how do I set servers for hadoop? (CDH)如何为hadoop设置服务器？ (CDH)
【发布时间】：2014-06-30 11:46:43
【问题描述】：

我正在使用 AWS EC2 运行 3 个实例（m1.small -- 20GB HDD 和 1.7 GB RAM）。

集群上会有hadoop、mapReduce，还有几个监控进程。

这就是我的分裂方式：

1 主服务器

由于服务器的规范，我认为主服务器运行这 8 个作业是一种负担。我如何划分它们？是否应该另建一个服务器来分配监控进程？

【问题讨论】：

【解决方案1】：

在同一台服务器上拥有 NameNode 和 SeondaryNameNode 没有任何用途。

对于 1.7 GB 内存/机器，我认为您无法做太多事情。您需要更多节点或更高配置。 8GB/节点我认为应该是最低限度的。

您也可以将一些服务分配给从节点。

【讨论】：

是的，我同意。作为参考，CDH 5 VM 需要 8 gigs 或 RAM
每个节点 8GB RAM？我应该准备多少台服务器才能使集群至少工作？ CDH建议至少3个数据节点，所以我需要3个数据节点3个主机，namenode 1个主机，secondarynamenode 1个。至少 5 台主机，对吧？
您的辅助名称节点可以与您的数据节点之一驻留。你打算把它用作生产吗？如果不是，您可以将复制因子设置为 2 并仅使用 2 个数据节点。有点不稳定，但可以用于开发目的。