为什么groupBy后面的分区数是200？为什么这 200 不是其他数字？

Question

这是 Spark 2.2.0-SNAPSHOT。

为什么下例中groupBy变换后的分区数为200？

scala> spark.range(5).groupByKey(_ % 5).count.rdd.getNumPartitions
res0: Int = 200

200 有什么特别之处？为什么不是像1024 这样的其他号码？

有人告诉我 Why does groupByKey operation have always 200 tasks? 专门询问 groupByKey，但问题是选择 200 作为默认值背后的“谜团”，而不是为什么默认有 200 个分区。

Answer 1

这是由 spark.sql.shuffle.partitions 设置的

一般来说，每当您执行 spark sql 聚合或连接以打乱数据时，这就是结果分区的数量。

对于您的整个操作来说，它是恒定的（即，不可能为一个转换更改它，然后再为另一个转换更改它）。

更多信息请参见http://spark.apache.org/docs/latest/sql-programming-guide.html#other-configuration-options