【问题标题】:Query Hive Meta Store查询 Hive 元存储
【发布时间】:2016-05-02 12:08:02
【问题描述】:

我想知道如何查询 hive 元存储数据库并获取一些关键属性,包括:

  • 创建日期
  • 最后更新日期
  • 上次访问日期

我刚学了一个 hive 命令show table extend like <tablename>

0   tableName:<tablename>
1   owner:<userid>
2   location:hdfs://NameService-705/user/hive/warehouse/<username>.db/<tablename>
3   inputformat:org.apache.hadoop.mapred.TextInputFormat
4   outputformat:org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
5   columns:struct columns { i64 ingestts, i64 ingestdate .... map<string,string> params}
6   partitioned:false
7   partitionColumns:
8   totalNumberFiles:1
9   totalFileSize:0
10  maxFileSize:0
11  minFileSize:0
12  lastAccessTime:1453767099408   ->  Mon Jan 25 2016 17:11:39 GMT-0700 (MST)
13  lastUpdateTime:1432218969243   ->  Thu May 21 2015 08:36:09 GMT-0600 (MDT)

我知道字段 0、1、12 和 13 正是这些信息,我想知道如何查询 hive 元存储以直接获取这些信息,而不是运行show table extend 一千次。比如:

select tableName, owner, lastAccessTime, lastUpdateTime from <metatable>

【问题讨论】:

    标签: hadoop hive


    【解决方案1】:
    select TBL_NAME, OWNER, CREATE_TIME, LAST_ACCESS_TIM
    from TBLS
    limit 11; 
    

    【讨论】:

      【解决方案2】:

      您可以从 Java 代码直接查询 Hive Metastore - 参见。 JavaDoc

      或者,如果您喜欢快速而简单的技巧,您可以连接到 Metastore 数据库(通常是 MySQL 实例)并直接针对它运行一些 SQL 查询。遗憾的是,关于数据模型的公开文档并不多。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2019-08-15
        • 2016-04-24
        • 2022-11-11
        • 1970-01-01
        相关资源
        最近更新 更多