【问题标题】:Import Class on spark-shell where package name starting with word "spark"在 spark-shell 上导入类,其中包名称以单词“spark”开头
【发布时间】:2017-10-12 16:09:36
【问题描述】:

我已经打开了 Spark-Shell。在 shell 中,我们已经有了一个变量 -

spark: org.apache.spark.sql.SparkSession

我有一个包名以“spark”开头的第三方 Jar,比如 -

spark.myreads.one.KafkaProducerWrapper

当我尝试在 spark shell 上导入上述包时,出现异常 -

scala> import spark.myreads.one.KafkaProducerWrapper
<console>:38: error: value myreads is not a member of org.apache.spark.sql.SparkSession
       import spark.myreads.one.KafkaProducerWrapper

如何在 Spark-Shell 上导入这样的包来解决上述冲突。

我正在使用 Spark-2.0.0JDK-1.8Scala -2.11

【问题讨论】:

  • $SPARK_HOME/bin/spark-shell --packages spark.myreads.one.KafkaProducerWrapper

标签: apache-spark spark-streaming


【解决方案1】:

像这样使用 _root_ 作为开始部分:

import _root_.spark.myreads.one.KafkaProducerWrapper

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2016-02-05
    • 1970-01-01
    • 1970-01-01
    • 2016-12-08
    • 2015-11-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多