在IntellIJ IDEA中搭建好spark开发环境,并在IntelliJ IDEA中运行local模式,这是学习spark开发和调试spark程序,以及分析spark源码的绝佳方式.

基本流程:
1.安装JDK,注意版本要和spark兼容
2.安装scala,注意版本要和spark兼容
3.安装IntelliJ IDEA 并安装scala插件
4.新建scala工程,制定JDK,和scala配置
5.导入spark-hadoop依赖包,可以将官网下载的spark解压后中的jars目录下的jar包全部导入工程,如下:

Intellij IDEA搭建Spark开发环境并运行
6.设置IDEA运行项的Configuration中的VM opthion 增加-Dspark.master=local,如下:

Intellij IDEA搭建Spark开发环境并运行


7.开发程序并运行即可

相关文章:

  • 2021-09-03
  • 2021-10-07
  • 2022-12-23
  • 2021-12-01
  • 2021-11-22
  • 2021-12-08
  • 2021-11-19
猜你喜欢
  • 2021-06-13
  • 2021-11-17
  • 2021-11-18
  • 2021-11-01
  • 2021-05-25
相关资源
相似解决方案