HiveContext 在 Oozie 中不起作用

【问题标题】：HiveContext not working from OozieHiveContext 在 Oozie 中不起作用
【发布时间】：2016-08-04 06:59:49
【问题描述】：

我试图使用 HiveContext 对象从我的 spark 代码运行一些配置单元查询。当我使用 spark submit 从命令行运行它时，它工作正常。但是，当我尝试从 oozie 工作流中运行相同的异常时，我遇到了以下异常。

User class threw exception: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

【问题讨论】：

标签： hadoop apache-spark hive oozie hivecontext

【解决方案1】：

如果使用 Hive 类，您应该将 Hive 共享库添加到 Spark 操作。您可以在 oozie-default.xml、工作流或操作配置中设置以下属性：

<configuration>
   <property>
      <name>oozie.action.sharelib.for.spark</name>
      <value>spark,hive</value>
   </property>
</configuration>

【讨论】：

我用上述属性更新了工作流，工作流成功了。但是，我找不到我正在创建的表。
您可能必须使用标记和 Spark 中选项>标签。