尝试使用 spark 处理 hive 表时出现“无法使用 Hive 支持实例化 SparkSession”错误

Question

我想使用 spark 处理 hive 表，但是当我运行我的程序时，我得到了这个错误：

线程“main”java.lang.IllegalArgumentException 中的异常：无法使用 Hive 支持实例化 SparkSession，因为未找到 Hive 类。

我的申请代码

object spark_on_hive_table extends App {

  val spark = SparkSession
    .builder()
    .appName("Spark Hive Example")
    .config("spark.sql.warehouse.dir", "hdfs://localhost:54310/user/hive/warehouse")
    .enableHiveSupport()
    .getOrCreate()

  import spark.implicits._

  spark.sql("select * from pbSales").show()

}

build.sbt

version := "0.1"

scalaVersion := "2.11.12"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.3.2",
  "org.apache.spark" %% "spark-sql" % "2.3.2",
  "org.apache.spark" %% "spark-streaming" % "2.3.2",
  "org.apache.spark" %% "spark-hive" % "2.3.2" % "provided"
)

Answer 1

您应该删除 provided 的 spark-hive 依赖项：

"org.apache.spark" %% "spark-hive" % "2.3.2" % "provided" 

改成

"org.apache.spark" %% "spark-hive" % "2.3.2"