【问题标题】:Zeppelin 0.7.2 org.apache.thrift.transport.TTransportException with Spark and HighChartsZeppelin 0.7.2 org.apache.thrift.transport.TTransportException 与 Spark 和 HighCharts
【发布时间】:2018-01-12 12:57:18
【问题描述】:

如果我将此工件添加到 Zeppelin com.knockdata:spark-highcharts:0.6.4 它会给出错误 org.apache.thrift.transport.TTransportException

即使是这样的简单示例也会导致错误:

val x = Array(1,2,3,4)

val rdd = sc.parallelize(x)

问题肯定与 %spark 有关,因为 %md 和 %sh 工作。我有 Spark 版本 spark-2.1.0-bin-hadoop2.6。

Spark 日志中没有消息。在 zeppelin-interpreter-spark-root-(hostname).log 它说:

com.google.gson.JsonSyntaxException: java.lang.IllegalStateException: Expected BEGIN_ARRAY but was
 BEGIN_OBJECT at line 1 column 2
        at com.google.gson.Gson.fromJson(Gson.java:802)
        at com.google.gson.Gson.fromJson(Gson.java:757)
        at com.google.gson.Gson.fromJson(Gson.java:706)
        at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer.convert(RemoteInterprete
rServer.java:425)

org.apache.zeppelin.interpreter.InterpreterException: 线程“main”中的异常 java.lang.NoSuchMethodError: scala.Predef$.wrapRefArray([Ljava/lang/Object;)Lscala/collection/mutable/WrappedArray;

【问题讨论】:

  • 检查 tmp 文件是否有 spark 并确保有可用空间
  • 我将 Spark 更新为 spark-2.2.0-bin-hadoop2.7,但没有帮助。

标签: apache-zeppelin


【解决方案1】:

spark-highcharts:0.6.4 不支持zeppelin:0.7.2spark-highcharts 有一个依赖项,它清楚地说明了要使用哪个 zeppelin 版本,并且它不是二进制兼容的。这就是报告错误的原因。

版本已升级至spark-highcharts:0.6.5 以支持zeppelin:0.7.2(spark:2.1)

【讨论】:

  • Changed to new artificate now says java.lang.ClassCastException: scala.collection.convert.Wrappers$JMapWrapper cannot be cast to scala.collection.MapLike at scala.sys.package$.env(package. scala:61)
  • Zeppelin-0.7.2 支持到 spark-2.1。 spark-highcharts:0.6.5 用 zeppelin:0.7.2 用 spark:2.1 构建。如果你想使用 spark:2.2,你可以修改 pom 文件中的版本并重新编译它。
猜你喜欢
  • 2018-01-29
  • 2017-05-09
  • 2016-09-09
  • 2015-08-29
  • 2017-11-05
  • 2020-01-30
  • 1970-01-01
  • 2016-08-18
  • 2017-05-09
相关资源
最近更新 更多