在 Zeppelin 中从 spark 执行代码 scala

Question

我想通过 Spark 集群在 Zeppelin 上运行 scala 代码。

例如： 这是 hdfs Spark "HelloWorldScala.scala" 中的代码：

object HelloWorldScala{
 def main (arg: Array[String]): Unit = {
 val conf = new SparkConf().setAppName("myApp_Enrico")

 val spark = SparkSession.builder.config(conf).getOrCreate()
 val aList = List(1,2,3,4,5,6,7,8,9,10)
 val aRdd = spark.sparkContext.parallelize(aList)
 println("********* HELLO WORLD AND HELLO SPARK!! ******")
 println("Print even numbers")
 aRdd.filter(x=>x%2==0).map(x=>x*2).collect().foreach(println)
  }

}

我想在 Zeppelin 中导入 HelloWorldScala 文件并运行 main，但我看到错误：

错误代码 Zeppelin

Answer 1

很遗憾，您无法在 Zeppelin 中导入单个文件。您可以将 scala 文件打包到 .jar 库中并将其放入 spark.jars（在 spark 中设置为属性）目录，之后您可以使用以下行导入您的库：import your.libray.packages.YourClass 并使用其中的非私有函数。如果您不了解 jar 包和 spark.jar 目录，请阅读更多相关信息。

更新：

%dep
z.load("your_package_group:artifact:version")
%spark

import com.yourpackage.HelloWorldScala