测试hadoop的最佳方法是什么？

Question

我已经完成了 hadoop 集群设置，其中包含 3 个用于 QJM 的日志节点、4 个数据节点、2 个名称节点、3 个 Zookeeper，但我需要确认它们之间的连接是否成功，所以我正在寻找一个也可以执行后续任务

1) 应该检查哪个namenode当前处于活动状态

2) 两个namenode是否都通信成功了

3) 应该检查所有日志节点之间是否通信成功

4) 应该检查所有的zookeeper是否相互通信成功

5) 哪个动物园管理员当前扮演主人角色

是否有任何工具或命令可用于检查上述任务？

谁能帮我解决这个问题？

Answer 1

使用 Ambari，您可以监控整个集群的性能和工作情况。 此外，如果您想以编程方式验证您的 hadoop 作业， 然后你就可以使用 Hadoop 中的 Counters 的概念了。