spark源码分析之环境搭建
1.准备工具
JDK, maven，Scala，Scala IDE
2.下载源码
主要是在https://archive.apache.org/dist/spark/spark-2.4.0/，选择
主要选择红色方框中的下载，下载后解压。
2.编译spark源码
因为是maven项目，所以可以使用maven的编译命令，不使用官方推荐的方式，因为官方的方式只适合Linux，现在是在Windows系统下编译，所以需要使用其他方法。在spark的根目录下使用mvn -DskipTests clean install，这个命令，一定是install，而不是package，因为package之打包，没有安装到仓库，后面使用Scala IDE会报错，找不到类。所以一定要install。例如我的目录E:\spark-src\spark-2.4.0
执行编译命令就好了。如果说是maven版本问题，可以直接修改根目录下的pom文件的maven.version为你的安装maven版本。
3.使用Scala IDE导入编译好的spark源码
首先一定要安装Scala。然后导入
选择spark目录下面的core和example，这两个项目，因为全导入进来，机器内存吃不消，而且很卡，当你需要调试那个子项目，就导入那个。
这就是导入core。
4.修改Scala IDE的配置，让能debug spark源码
修改Scala的调试器，在preference的launcher里面，勾选为Scala application launcher。这样调试Scala不报错，否则会报错。
最终这个Scala IDE既能调试Scala，又能调试Java。
是Java和Scala的开发利器。
下载地址http://scala-ide.org/download/sdk.html
如果下载不下来，被墙，就使用代理下载。
5.为啥不用idea
因为这个工具很大，很重，电脑配置一般的话，很慢。我的配置6G，就很卡，所以最终选择Scala IDE。