【发布时间】:2017-10-12 16:09:36
【问题描述】:
我已经打开了 Spark-Shell。在 shell 中,我们已经有了一个变量 -
spark: org.apache.spark.sql.SparkSession
我有一个包名以“spark”开头的第三方 Jar,比如 -
spark.myreads.one.KafkaProducerWrapper
当我尝试在 spark shell 上导入上述包时,出现异常 -
scala> import spark.myreads.one.KafkaProducerWrapper
<console>:38: error: value myreads is not a member of org.apache.spark.sql.SparkSession
import spark.myreads.one.KafkaProducerWrapper
如何在 Spark-Shell 上导入这样的包来解决上述冲突。
我正在使用 Spark-2.0.0 、 JDK-1.8 和 Scala -2.11
【问题讨论】:
-
$SPARK_HOME/bin/spark-shell --packages spark.myreads.one.KafkaProducerWrapper
标签: apache-spark spark-streaming