使用 intellij 在本地运行 spark

Question

这是我写的：

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

object ProcessingApp extends App {
  val sparkConf = new SparkConf()
    .setAppName("er")
    .setMaster("local")
  val sparkSession: SparkSession = SparkSession.builder().config(sparkConf).getOrCreate()

  val test = sparkSession.version

  println(test)

}

我想用我的 Intellij IDE 在本地运行它，方法是右键单击运行 ProcessingApp 但这不起作用，我在 build.sbt 文件级别没有提供我的 spark 依赖项。我收到此错误：

Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass

Answer 1

将所有 spark 依赖的范围从 provided 更改为 compile

Answer 2

尝试右键单击目标目录中的jar文件并运行它。如果依赖项包含在您的 jar 中，它应该选择它。