我们可以通过元数据提取在 hive 上运行的查询吗答案

【问题标题】：Can we extract the queries which was ran on hive through metadata我们可以通过元数据提取在 hive 上运行的查询吗
【发布时间】：2021-02-10 09:51:09
【问题描述】：

基本上，我想要一天内在蜂巢上运行的查询的元数据。我查看了 MySql 中 hive 提供的元数据。但找不到任何存储查询相关信息的表。

【问题讨论】：

【解决方案1】：

经过研究发现，我们可以使用 History Server REST API for Hadoop 提取 MapReduce 作业。

从中您将获得与 Job 相关的信息。

要获得查询，您需要请求特定工作的配置

/ws/v1/history/mapreduce/jobs//conf

从这里你会得到所有的配置。对于查询，您需要查看 hive.query.string

我们还可以从 hdfs 位置提取作业的 JSON 和 XML 格式的作业配置。为此，您需要 mapreduce.jobhistory.done-dir 属性的值。

然后你触发 hdfs get 命令来获取数据。

hdfs dfs -get <resource-manager-path>/<year-dir>/<month-dir>/<day-dir> <destination-local-dir>

【讨论】：