Spark 任务生成以及提交总结

对spark任务提交源码进行初步阅读梳理下流程

其中stage的划分：

   Spark调度阶段的划分是由DAGScheduler实现的，DAGScheduler会从最后一个Rdd出发，使用广度优先遍历整个依赖树，从而划分调度阶段，依据是否为宽依赖，当某些Rdd操作是Shuffle时，以该Shuffle操作为界限划分前后两个调度阶段。