【问题标题】:How to use hive hook in spark sql如何在 spark sql 中使用 hive 钩子
【发布时间】:2019-10-25 15:10:05
【问题描述】:

我使用 hive(2.1.1) 钩子,如下所示:

set hive.exec.post.hooks=com.test.HiveTestHook;create table tmp.hive_hook_test(x int);

我还想在 spark sql(2.4.0) 中运行这个 sql,但是我发现 hook 没有被调用。 我像这样运行 spark sql:

spark-sql -e 'set spark.hadoop.hive.exec.post.hooks=com.test.HiveTestHook;create table tmp.hive_hook_test(x int);'

所以我想知道如何在spark sql中使用hive hook?

【问题讨论】:

    标签: apache-spark hadoop hive apache-spark-sql


    【解决方案1】:

    Spark 不支持 hive hooks,详情参考:https://issues.apache.org/jira/browse/SPARK-18879

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2019-07-02
      • 1970-01-01
      • 2019-09-21
      • 1970-01-01
      • 2013-07-01
      • 2015-07-23
      • 1970-01-01
      相关资源
      最近更新 更多