用于聚合的 Spark 数据集或数据框

Question

我们有一个使用 Spark 2.0 版的 MapR 集群 我们正在尝试测量当前在 TEZ 引擎上运行的 Hive 查询的性能差异，然后通过在 .hql 文件中编写 sql 查询然后通过 shell 文件调用它来在 Spark-sql 上运行它。

Query 包含大量的 Join，这肯定会创建多个阶段，并且在这种情况下会发生 shuffle 什么是最佳选择。？

Spark 中的数据集在执行 groupBy、max、min、count..etc 等聚合方面确实比 Dataframe 慢吗？

那么在哪些方面，Dataframes 比 Datasets 表现更好，反之亦然..？

Answer 1

在 Spark 2.0 中，Dataset[Row] 是 Dataframe 的别名，所以应该不会有任何性能问题。

请看：

• When to use Spark DataFrame/Dataset API and when to use plain RDD?

• A Tale of Three Apache Spark APIs: RDDs, DataFrames, and Datasets