Hadoop Datanode 配置核心和 RAM

【问题标题】：Hadoop Datanode configuration Cores and RAMHadoop Datanode 配置核心和 RAM
【发布时间】：2014-12-02 04:51:19
【问题描述】：

我正在使用具有 9 个节点的 Hadoop 集群。我想知道 Hadoop 集群中的基本数据节点配置是什么。

我在 Namenode 和 Datanode 上使用以下配置。

    RAM = 4GB
    Cores = 4
    Disk = 8 ( Total 16GB storage space)

运行示例排序和字数统计作业以检查 hadoop 网络性能。

我选择的配置是否正确？

感谢和问候，

阿卜杜勒·纳瓦兹

【问题讨论】：

【解决方案1】：

理论上你可以使用任何你想要的配置，只要配置正确（这样 Hadoop 就知道服务器功能等）。

实际上，每台服务器至少应该有 4GB 的 RAM（根据我的经验）。内核数量会影响性能，您应该有足够的可用磁盘空间来运行服务器（设置为非 HDFS 事物（例如服务器工作）保留的空间量，设置为 dfs.datanode.du.reserved in hdfs-site.xml）。

我不确定正常 Hadoop 工作应该有多少可用空间 - 我想这取决于你的工作。无论如何，16GB 并不是很多。

一般来说，只要配置正确，您的设置应该没问题。

【讨论】：