Spark 按顺序执行连接，即使它们是在并行线程中提交的

Question

我在 Spark 的驱动程序节点上运行 4 个并行线程，它们执行相同的操作但使用不同的数据。 Spark 确实并行执行所有提交的作业，直到有一个连接点。此时，连接操作按顺序完成。 这是 SparkUI 显示的内容：

有什么办法可以让连接并行运行吗？

更新：

我用来启动进程的命令是：

spark-submit  
   --master local[16]  
   --class ...  
   --driver-memory 11G  
   --conf spark.default.parallelism=4  
   --conf spark.sql.shuffle.partitions=4

我只使用 4 个分区，因为我处理的数据非常小 (2-3MB)。
目前我正在本地模式下进行测试。 对于生产，我将使用 EMR 集群。

Answer 1

问题是我在加入后立即保留了数据。删除persist后，连接是并行完成的。