Spark脚本调用

Spark提供了多个脚本来作为程序的入口，其中最常用的是交互脚本 spark-shell, pyspark，还有spark sql的客户端spark-sql。 这些脚本最后都会归结到对SparkSubmit类的调用。

下图是spark-shell的调用流程

 

 

下图是spark-sql的调用流程

 

可以看出最后的程序入口都是SparkSubmit.main, 在该入口中会根据传入的参数不同而进入不同的类。