如何访问 Hive 中的现有表？

Question

我正在尝试使用 scala 从 spark 应用程序访问 HIVE。

我的代码：

val hiveLocation   = "hdfs://master:9000/user/hive/warehouse"
val conf = new SparkConf().setAppName("SOME APP NAME").setMaster("local[*]").set("spark.sql.warehouse.dir",hiveLocation)

val sc = new SparkContext(conf)
val spark = SparkSession
  .builder()
  .appName("SparkHiveExample")
  .master("local[*]")
  .config("spark.sql.warehouse.dir", hiveLocation)
  .config("spark.driver.allowMultipleContexts", "true")
  .enableHiveSupport()
  .getOrCreate()
println("Start of SQL Session--------------------")

spark.sql("select * from test").show()
println("End of SQL session-------------------")

但它最终会出现错误消息

找不到表或视图

但是当我在 hive 控制台下运行 show tables; 时，我可以看到该表并且可以运行 Select * from test。所有都在“用户/配置单元/仓库”位置。只是为了测试，我也尝试从 spark 中创建表，只是为了找出表的位置。

val spark = SparkSession
      .builder()
  .appName("SparkHiveExample")
  .master("local[*]")
  .config("spark.sql.warehouse.dir", hiveLocation)
  .config("spark.driver.allowMultipleContexts", "true")
  .enableHiveSupport()
    .getOrCreate()
println("Start of SQL Session--------------------")
spark.sql("CREATE TABLE IF NOT EXISTS test11(name String)")
println("End of SQL session-------------------")

此代码也正确执行（带有成功说明），但奇怪的是我可以从 hive 控制台找到此表。

即使我在 mysql 中使用select * from TBLS;（在我的设置中，我将 mysql 配置为 hive 的元存储），我也没有找到从 spark 创建的那些表。

spark 位置是否与 hive 控制台不同？

如果我需要从 spark 访问 hive 中的现有表，我该怎么办？

Answer 1

来自spark sql programming guide： （我强调了相关部分）

Hive 的配置是通过放置你的 hive-site.xml 来完成的， core-site.xml（用于安全配置）和 hdfs-site.xml（用于 HDFS 配置）文件在 conf/.

使用 Hive 时，必须使用 Hive 实例化 SparkSession 支持，包括与持久 Hive 元存储的连接， 支持 Hive serdes 和 Hive 用户定义的函数。做的用户 没有现有的 Hive 部署仍然可以启用 Hive 支持。 hive-site.xml 未配置时，上下文自动 在当前目录下创建 metastore_db 并创建一个目录 spark.sql.warehouse.dir 配置，默认为目录 Spark 应用程序所在的当前目录中的 spark-warehouse 开始

您需要将hive-site.xml 配置文件添加到resource 目录。 这是 spark 与 hive 一起工作所需的最低值（将主机设置为 hive 的主机）：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://host:9083</value>
        <description>IP address (or fully-qualified domain name) and port of the metastore host</description>
    </property>

</configuration>