设置hadoop集群

Question

hadoop 集群中的工作节点是否需要在每个节点上安装 hadoop？

如果我只需要一些PC的计算能力，我可以只使用map-reduce而不在每个节点上安装HDFS吗？

Answer 1

当您说工作节点时，它包括 DataNodes 和 TaskTracker。因此，从这个意义上说，如果您希望运行 MR 作业，您需要在每台机器上使用它们。

但这里的重点是你会单独使用 MR 做什么。我的意思是对存储在本地 FS 中的数据运行 MR 作业不会有太大用处，因为在这种情况下您无法利用 Hadoop 提供的分布式数据存储和并行性的强大功能。

Answer 2

要使用节点的计算能力，您需要在该节点上运行 TaskTracker。因此，必须安装 Hadoop。

如果不需要HDFS，可以只运行TaskTracker，不启动DataNode。