【问题标题】:Can't run spark shell ! java.lang.NoSuchMethodError: org.apache.spark.repl.SparkILoop.mumly无法运行火花壳! java.lang.NoSuchMethodError:org.apache.spark.repl.SparkILoop.mumly
【发布时间】:2019-05-02 19:09:06
【问题描述】:
hadoop@youngv-VirtualBox:/usr/local/spark$ ./bin/spark-shell
18/11/30 23:32:38 WARN Utils: Your hostname, youngv-VirtualBox resolves to a loopback address: 127.0.0.1; using 10.0.2.15 instead (on interface enp0s3)
18/11/30 23:32:38 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
18/11/30 23:32:40 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).

线程“主”java.lang.NoSuchMethodError 中的异常: org.apache.spark.repl.SparkILoop.mumly(Lscala/Function0;)Ljava/lang/Object; 在 org.apache.spark.repl.SparkILoop$$anonfun$process$1.org$apache$spark$repl$SparkILoop$$anonfun$$loopPostInit$1(SparkILoop.scala:199) 在 org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$startup$1$1.apply(SparkILoop.scala:267) 在 org.apache.spark.repl.SparkILoop$$anonfun$process$1$$anonfun$startup$1$1.apply(SparkILoop.scala:247) 在 org.apache.spark.repl.SparkILoop$$anonfun$process$1.withSuppressedSettings$1(SparkILoop.scala:235) 在 org.apache.spark.repl.SparkILoop$$anonfun$process$1.startup$1(SparkILoop.scala:247) 在 org.apache.spark.repl.SparkILoop$$anonfun$process$1.apply$mcZ$sp(SparkILoop.scala:282) 在 org.apache.spark.repl.SparkILoop.runClosure(SparkILoop.scala:159) 在 org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:182) 在 org.apache.spark.repl.Main$.doMain(Main.scala:78) 在 org.apache.spark.repl.Main$.main(Main.scala:58) 在 org.apache.spark.repl.Main.main(Main.scala) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

虽然我想运行 spark-shell,但出现错误 与:spark-2.4.0 scala-2.11.12 jdk-1.8 谁能告诉我如何解决这个问题?我将不胜感激。

【问题讨论】:

  • 嘿,你可能想试试 scala 2.12+ 的 spark 2.4。看起来 2.11 有一个单独的包:github.com/apache/spark/tree/master/repl/src/main
  • 哦,非常感谢。在看到你的回答之前,我试了好几次都失败了,所以我重新安装了它,它又能正常工作了。

标签: scala apache-spark


【解决方案1】:

在程序集类路径中可能有不同的 jar 版本,删除它并尝试 重新构建它。

【讨论】:

    猜你喜欢
    • 2016-01-05
    • 2019-04-20
    • 1970-01-01
    • 2017-01-26
    • 1970-01-01
    • 2017-10-08
    • 1970-01-01
    • 2016-04-27
    • 2022-01-06
    相关资源
    最近更新 更多