【发布时间】:2019-05-02 19:09:06
【问题描述】:
hadoop@youngv-VirtualBox:/usr/local/spark$ ./bin/spark-shell
18/11/30 23:32:38 WARN Utils: Your hostname, youngv-VirtualBox resolves to a loopback address: 127.0.0.1; using 10.0.2.15 instead (on interface enp0s3)
18/11/30 23:32:38 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
18/11/30 23:32:40 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
线程“主”java.lang.NoSuchMethodError 中的异常: org.apache.spark.repl.SparkILoop.mumly(Lscala/Function0;)Ljava/lang/Object; 在 org.apache.spark.repl.SparkILoop$$anonfun$process$1.org$apache$spark$repl$SparkILoop$$anonfun$$loopPostInit$1(SparkILoop.scala:199) 在 org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$startup$1$1.apply(SparkILoop.scala:267) 在 org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$startup$1$1.apply(SparkILoop.scala:247) 在 org.apache.spark.repl.SparkILoop$$anonfun$process$1.withSuppressedSettings$1(SparkILoop.scala:235) 在 org.apache.spark.repl.SparkILoop$$anonfun$process$1.startup$1(SparkILoop.scala:247) 在 org.apache.spark.repl.SparkILoop$$anonfun$process$1.apply$mcZ$sp(SparkILoop.scala:282) 在 org.apache.spark.repl.SparkILoop.runClosure(SparkILoop.scala:159) 在 org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:182) 在 org.apache.spark.repl.Main$.doMain(Main.scala:78) 在 org.apache.spark.repl.Main$.main(Main.scala:58) 在 org.apache.spark.repl.Main.main(Main.scala) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
虽然我想运行 spark-shell,但出现错误 与:spark-2.4.0 scala-2.11.12 jdk-1.8 谁能告诉我如何解决这个问题?我将不胜感激。
【问题讨论】:
-
嘿,你可能想试试 scala 2.12+ 的 spark 2.4。看起来 2.11 有一个单独的包:github.com/apache/spark/tree/master/repl/src/main
-
哦,非常感谢。在看到你的回答之前,我试了好几次都失败了,所以我重新安装了它,它又能正常工作了。
标签: scala apache-spark