【问题标题】:java.lang.NoSuchMethodError: org.apache.spark.ui.SparkUI.addStaticHandler(Ljava/lang/String;Ljava/lang/String;java.lang.NoSuchMethodError: org.apache.spark.ui.SparkUI.addStaticHandler(Ljava/lang/String;Ljava/lang/String;
【发布时间】:2016-02-07 16:11:03
【问题描述】:

我正在运行以下关于 Java+Spark+SQL 的示例。

https://github.com/apache/spark/blob/master/examples/src/main/java/org/apache/spark/examples/sql/JavaSparkSQL.java

但是得到这个异常。编译时没有错误

我怎样才能避免这种情况? 找不到有关此异常的任何信息。 请帮帮我。

SparkConf sparkConf = new SparkConf().setMaster("local").setAppName("JavaSparkSQL");
JavaSparkContext ctx = new JavaSparkContext(sparkConf);
SQLContext sqlContext = new SQLContext(ctx);

异常跟踪:

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.ui.SparkUI.addStaticHandler(Ljava/lang/String;Ljava/lang/String;)V
    at org.apache.spark.sql.execution.ui.SQLTab.<init>(SQLTab.scala:36)
    at org.apache.spark.sql.SQLContext$$anonfun$1.apply(SQLContext.scala:79)
    at org.apache.spark.sql.SQLContext$$anonfun$1.apply(SQLContext.scala:79)
    at scala.Option.foreach(Option.scala:257)
    at org.apache.spark.sql.SQLContext.<init>(SQLContext.scala:79)
    at org.apache.spark.sql.SQLContext.<init>(SQLContext.scala:69)
    at org.sun.JavaSparkSQL.main(JavaSparkSQL.java:47)
2015-11-06 18:35:22,834 INFO  org.apache.spark.SparkContext.logInfo:59 - Invoking stop() from shutdown hook

pom.xml 依赖项

 <dependency>
     <groupId>org.apache.spark</groupId>
     <artifactId>spark-sql_2.11</artifactId>
     <version>1.5.1</version>
 </dependency>
 <dependency>
     <groupId>org.apache.spark</groupId>
     <artifactId>spark-core_2.11</artifactId>
     <version>1.4.0</version>
 </dependency>

【问题讨论】:

  • 应该是版本问题。尝试将 spark 核心依赖切换到匹配的版本,在这种情况下为 1.5.1。
  • 确实是版本问题!您应该始终使用所有依赖项的相同版本。
  • 非常感谢..我通过将版本设置为1.5.1解决了这个问题

标签: java apache-spark


【解决方案1】:

这是版本问题!您应该始终使用所有依赖项的相同版本。

【讨论】:

    猜你喜欢
    • 2014-12-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-02-17
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多