如何在内部提供 Hive-site.xml 的值，而不是引用 Spark Jar 的执行路径

Question

我有一段代码可以从 Hive 获取表到 spark 并且它工作正常，因为我将 Hive-site.xml 文件放在 Eclipse 的资源文件夹中。

接下来我将代码转换为 jar 文件并参考 Hive-site.xml 文件的路径来执行程序。

为什么我可以在内部（在程序本身中）使用 Hive-site.xml 的值来覆盖该文件引用部分？

代码如下：

val appConf = ConfigFactory.load()
val conf = new SparkConf().
  setAppName("hivedb").setMaster(appConf.getConfig(args(0)).getString("deploymentMaster"))
val sc = new SparkContext(conf)
val hc = new HiveContext(sc)

val source = hc.sql("SELECT * from sample.source").rdd.map(_.mkString(","))
val destination = hc.sql("select * from sample.destination").rdd.map(_.mkString(","))

Hive-site.xml 文件值：

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true</value>
</property>

 <property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hiveroot</value>   
  </property>

 <property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hivepassword</value>   
  </property>

 <property>
<name>hive.exec.scratchdir</name>
<value>/tmp/hive/${user.name}</value>   
  </property>

</configuration>

我正在寻找类似以下的内容：

 val url = "jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true"
val user = "hiveroot"
val password = "hivepassword"
val src ="/tmp/hive/${user.name}"
val a = hc.read.format("jdbc").options(Map("javax.jdo.option.ConnectionURL" -> url,    
  "user" -> user,
  "password" -> password,
  "sql" -> "sample.source",
  "hive.exec.scratchdir"->src)).load().collect().foreach(println)

只使用程序内部 Hive-site.xml 文件所需的值，无需引用该文件。

根据 Raktotpal Bordoloi 的建议

 val warehouseLocation = "/usr/hive/warehouse"
val spark = SparkSession.builder().master("local")
.appName("spark session example")
.config("javax.jdo.option.ConnectionURL","jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true")
  .config("javax.jdo.option.ConnectionUserName","hiveroot")
  .config("javax.jdo.option.ConnectionPassword","hivepassword")
  .config("hive.exec.scratchdir","/tmp/hive/${user.name}")
  .config("spark.sql.warehouse.dir", warehouseLocation)
 // .config("hive.metastore.uris", "thrift://localhost:9083")      
  .enableHiveSupport()
  .getOrCreate()

导入 spark.implicits._ 导入 spark.sql

sql("select * from sample.source").collect.foreach(println)

谢谢！

Answer 1

在 Spark 2.0 中，您可以在创建 SparkSession 之前在 SparkSession 的构建器上设置“spark.sql.warehouse.dir”。它应该在创建 Hive-Context 时正确传播。

val spark = SparkSession.builder()
.config("spark.sql.warehouse.dir", "...")
.config("hive.metastore.uris", "thrift://localhost:9083")

当模式为远程时（在上述情况下），不会使用诸如“javax.jdo.option.ConnectionURL”之类的配置（因为它们被与数据库对话的远程元存储服务器使用）。

对于 Spark 1.6，您需要将 hive-site.xml 放在类路径中。