本地搭建spark环境,安装与详细配置

安装包下载地址:

JDK: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Hadoop2.6.5:http://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/

Scala2.11.8:https://www.scala-lang.org/download/all.html

Spark2.2.0:http://archive.apache.org/dist/spark/spark-2.2.0/

  1. jdk安装与配置

    点开jdk安装下载地址,下载windows版本即可,进行安装。安装后将安装路径添加至环境变量中,具体操作如下图。

本地windows搭建spark环境,安装与详细配置(jdk安装与配置,scala安装与配置,hadoop安装与配置,spark安装与配置)

安装测试

java -version

出现如下图代表安装成功。

本地windows搭建spark环境,安装与详细配置(jdk安装与配置,scala安装与配置,hadoop安装与配置,spark安装与配置)

其他环境变量设置:

PATH:C:\Program Files\Java\jdk1.8.0_191\bin;
CLASS_PATH :C:\Program Files\Java\jdk1.8.0_191\lib\dt.jar;C:\Program Files\Java\jdk1.8.0_191\lib\tools.jar;
JAVA_HOME :C:\Program Files\Java\jdk1.8.0_191  #这里后面不能有任何一个符号,我找错找了一下午,重装了 这几个包 又重新配置环境变量 真的是心累!!!!! hadoop会一直报JAVA_HOME不正确
JRE_HOME :C:\Program Files\Java\jdk1.8.0_191\jre
  1. scala安装与配置

点开scala安装下载地址,下载windows版本即可,进行解压,将他放到 你自己的文件路径下。

环境变量设置

PATH : C:\Program Files\scala-2.12.0\bin;
SCALA_HOME :C:\Program Files\scala-2.12.0

安装测试:

本地windows搭建spark环境,安装与详细配置(jdk安装与配置,scala安装与配置,hadoop安装与配置,spark安装与配置)

  1. hadoop安装与配置

点开spark安装下载地址,下载需要版本即可,进行解压,将他放到 你自己的文件路径下。

环境变量设置

HADOOP_PATH:C:\Program Files\hadoop-2.7.6  
PATH:C:\Program Files\hadoop-2.7.6\bin;

安装测试

本地windows搭建spark环境,安装与详细配置(jdk安装与配置,scala安装与配置,hadoop安装与配置,spark安装与配置)

  1. spark安装与配置

点开spark安装下载地址,下载需要版本即可,进行解压,将他放到 你自己的文件路径下。

环境变量设置

SPARK_HOME:C:\Program Files\spark-2.4.0-bin-hadoop2.7
PATH:C:\Program Files\spark-2.4.0-bin-hadoop2.7\bin;

安装测试

本地windows搭建spark环境,安装与详细配置(jdk安装与配置,scala安装与配置,hadoop安装与配置,spark安装与配置)

千万注意环境变量中的逗号 要不要打 这个错找了一天!!!!!

相关文章:

  • 2021-07-03
  • 2021-06-09
  • 2021-10-26
  • 2021-12-01
  • 2021-12-15
  • 2021-06-19
猜你喜欢
  • 2021-06-18
  • 2021-10-30
  • 2021-12-19
  • 2021-06-12
  • 2021-11-05
相关资源
相似解决方案