Spark SQL 中的 Sort by 与数据集 API 的排序与 Spark SQL 中的 Order by 有什么区别？

Question

1. 按 Spark SQL 排序导致窄依赖。
2. Spark SQL 的 Dataset API 和 order by 的排序导致 Wide 依赖关系。

Answer 1

这里有两个不同的东西：

• 通常 Spark 使用 sort 作为 orderBy - What is the difference between sort and orderBy functions in Spark 的别名

• Hive 有 SORT BY 子句，which sorts data locally per partition - 这样的操作在 Spark 中称为 sortWithinPartitions。