为什么 Spark 确定了 7 个分区？

Question

我有一个包含 5 个文件的 parquet 目录，如下所示：

我正在使用 Spark 2.2 版本并使用以下代码阅读此目录：

我不清楚为什么 Parquet 目录中有 5 个文件（每个文件都小于块大小）时 Spark 会确定 7 个分区（alternateDF.rdd().getNumPartitions()）？ 5 个任务有输入记录，但最后 2 个任务有 0 个输入记录，但输入数据非零。你能解释一下每个任务的行为吗？

Answer 1

@阿曼，

你可以关注一个老问题link

简单地说，以下是计算分区数所依赖的 3 个参数（来自上面的链接）

• spark.default.parallelism（大致翻译为#cores 可用于 应用程序）
• spark.sql.files.maxPartitionBytes（默认 128MB）
• spark.sql.files.openCostInBytes（默认 4MB）

Spark 源代码到refer