如何通过扩展 MetaStore 事件侦听器编写 Hive 挂钩以访问元数据级别的事件更改

【问题标题】：How to write Hive hook to access meta data level event changes by extending MetaStoreEventListener如何通过扩展 MetaStore 事件侦听器编写 Hive 挂钩以访问元数据级别的事件更改
【发布时间】：2017-03-25 09:46:55
【问题描述】：

我对获取通常存储在 hive 服务器 2 中的 hive 元数据级别事件感兴趣 - 例如基于事件的分区添加、删除、表添加和删除等触发器。已经有一个抽象类 MetaStoreEventListener 但我无法找到一个可靠的实现来访问所有元数据相关信息。你们能给我一些正确方向的见解吗？

【问题讨论】：

您是否特别打算使用 MetaStoreEventListener？
你也可以看看 HDFS 监听器，也许可以解决你的问题？

标签： hadoop hive hdfs eventhandler data-lake

【解决方案1】：

最好的方法是创建您自己的处理程序实用程序或框架来包装 hcatalog 包中的传统 NotificationListener 类（它扩展了 MetaStoreEventListener 类）。

如果您决定单独使用 NotificationListener 类，则可以随时使用以下内置侦听器：

分区（Add-onAddPartition、Alter-onAlterPartition、Drop-onDropPartition）
数据库（Create-onCreateDatabase、Drop-onDropDatabase）
表（Create-onCreateTable、Alter-onAlterTable、Drop-onDropTable）

此外，您可以独立探索 HDFS 包处理程序。或者，在更高级的方面，编写自己的独立框架，封装 HCatalog 和 HDFS 提供的默认事件处理程序。

【讨论】：

当然，我会进一步探索建议的模式。