【发布时间】:2020-05-17 13:42:48
【问题描述】:
我试图在安装后运行 Spark,但命令“spark-shell”给出了错误:
无法找到或加载主类版本。
我试图通过以各种(可能是矛盾的)方式设置我的 JAVA_HOME 来解决这个问题。我还设置了 SCALA_HOME 并编辑了 spark-env.sh。我可以采取哪些步骤来解决此问题?
类似于:
这个question2 (我使用的是 Ubuntu 20.04,上面的问题是针对 Windows 的,这个问题是关于 spark-submit 而不是 spark-shell 命令)和这个question:(这个错误与我的不同但相似)
版本信息: 我正在使用 Ubuntu 20.04 Hadoop版本:2.10.0 Spark 版本:spark-2.4.5-bin-without-hadoop-scala-2.12 Scala 版本:2.11.12(以前我尝试过 scala 2.12,因为我认为它兼容) Java版本:openjdk版本1.8.0_252, 运行时:构建 1.8.0_252-8u252-b09-1ubuntu1-b09 openJDK 64 位服务器 VM(内部版本 25.252-b09,混合模式) javac 1.8.0_252
我已采取的步骤的详细信息:
我已经安装了 Hadoop(将程序文件提取到 usr/hadoop,配置了 namenode 和 datanode,设置了 javapath)、Java 1.8 和 scala。 Hadoop 工作正常。我可以在浏览器和 hadoop 作业中看到 namenode。
我已经安装了 Spark(将程序文件解压到 usr/Spark)。
在 spark-env.sh 我设置了:
export HADOOP_CONF_DIR=/home/sperling/hadoop/hadoop-2.10.0,
JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre
在 bashrc 中我设置了:
export SCALA_HOME=/usr/share/scala
export HADOOP_HOME=/home/sperling/hadoop/hadoop-2.10.0
export SPARK_HOME=/home/sperling/spark
export PATH=$PATH:/home/sperling/spark/bin
在我设置的 etc/environment 中:
JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java
我不知道下一步该尝试什么,因为 Spark 似乎无法找到 Java 或 Scala,但是当我在终端中键入 echo $JAVA_HOME 和 echo $SCALA_HOME 时它们会出现。
【问题讨论】:
标签: scala apache-spark ubuntu