如何在带有参数的spark中执行hql文件

Question

我有一个接受多个参数的 hql 文件，然后我在独立的 spark 应用程序中调用这个 hql 脚本来创建一个数据帧。

这是我脚本中的示例 hql 代码：

select id , name, age, country , created_date
from ${db1}.${table1} a 
inner join ${db2}.${table2} b
on a.id = b.id

这就是我在 Spark 脚本中的调用方式：

import scala.io.Source
val queryFile = `path/to/my/file`
val db1 = 'cust_db'
val db2 = 'cust_db2'
val table1 = 'customer'
val table2 = 'products'
val query = Source.fromFile(queryFile).mkString
val df = spark.sql(query)

当我使用这种方式时，我得到： org.apache.spark.sql.catylyst.parser.ParserException

有没有办法将参数直接传递给我的 hql 文件，然后从 hive 代码中创建一个 df。

Answer 1

参数可以用这样的代码注入：

val parametersMap = Map("db1" -> db1, "db2" -> db2, "table1" -> table1, "table2" -> table2)
val injectedQuery = parametersMap.foldLeft(query)((acc, cur) => acc.replace("${" + cur._1 + "}", cur._2))