Hadoop 基准测试/性能测试

Question

我想在我的 Hadoop 集群上执行基准测试和性能测试。 我知道 hadoop-mapreduce*test*.jar 和 hadoop-mapreduce-examples*.jar 有很多基准测试程序。

是否有任何可用于这些测试的文档，其中提供了每个测试和性能测量的详细信息？ 另外，在执行任何测试后，是否有任何值可用于比较结果？

谢谢。

Answer 1

您有 HiBench，其中包含一些用于对 hdfs、hive 进行基准测试的工具...您可以在这里找到它：https://github.com/intel-hadoop/HiBench

伯克利大学用 hive、impala 的数据集创建了一个基准测试...您可以在这里参考：https://amplab.cs.berkeley.edu/benchmark/

Terasort 也是一个著名的基准测试。它包含 3 个生成数据并使用 MapReduce 测试集群的程序。更多信息在这里：http://hadoop.apache.org/docs/current/api/org/apache/hadoop/examples/terasort/package-summary.html