名称的 HiveConf 不存在答案

【问题标题】：HiveConf of name does not exist名称的 HiveConf 不存在
【发布时间】：2022-10-27 19:35:03
【问题描述】：

我创建了一个 EMR 集群，并在我的 spark 配置中指定了以下内容：

hive.metastore.glue.role.arn: arn:aws:iam::omitted:role/EMR_DefaultRole

我可以确认此值已从 AWS 的 EMR 控制台正确设置：

在我的作业运行逻辑中，我执行

spark.sql("show databases").show()

这会产生以下日志：

22/10/22 01:18:18 WARN HiveConf: HiveConf of name hive.metastore.glue.role.arn does not exist
22/10/22 01:18:18 ERROR AWSGlueClientFactory: Unable to build AWSGlueClient: java.lang.RuntimeException: java.lang.reflect.InvocationTargetException
22/10/22 01:18:18 WARN Hive: Failed to access metastore. This class should not accessed in runtime.
org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Unable to build AWSGlueClient: java.lang.RuntimeException: java.lang.reflect.InvocationTargetException)
    at org.apache.hadoop.hive.ql.metadata.Hive.getAllDatabases(Hive.java:1237)
    at org.apache.hadoop.hive.ql.metadata.Hive.reloadFunctions(Hive.java:175)
    at org.apache.hadoop.hive.ql.metadata.Hive.<clinit>(Hive.java:167)
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:503)
    at org.apache.spark.sql.hive.client.HiveClientImpl.newState(HiveClientImpl.scala:183)
    at org.apache.spark.sql.hive.client.HiveClientImpl.<init>(HiveClientImpl.scala:117)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
...

它似乎就像我的 Glue 客户端由于在我的 conf 中找不到胶水角色 ARN 而无法实例化。

我真的很感激对此的一些想法或任何调试建议。任何帮助-提前感谢:)

【问题讨论】：

标签： amazon-web-services apache-spark hive aws-glue amazon-emr

【解决方案1】：

尝试使用hive.metastore.client.factory.class 属性将com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory 类设置为元存储客户端工厂。

有关使用代码的配置的完整示例，请参阅Metastore configuration 文档页面，使用spark-hive-site 分类请参阅Use the AWS Glue Data Catalog as the metastore for Spark SQL 页面。另外，请注意，在第一种情况下，您需要在属性名称前加上 spark.hadoop.。

【讨论】：