【问题标题】:How to retrieve Hive table Partition Location?如何检索 Hive 表分区位置?
【发布时间】:2019-01-26 18:00:05
【问题描述】:

Show Partitions --> 在Hive/Spark中,该命令只提供Partition,不提供hdfs/s3上的位置信息

由于我们为表中的每个分区维护不同的位置,有没有办法在不查询 Metastore 表的情况下使用 Hive/Spark 检索位置信息?

【问题讨论】:

    标签: hive


    【解决方案1】:

    DESCRIBE FORMATTED <db>.table 会返回给你位置,还有很多其他的数据。输出中会有一行以LOCATION 开头。

    【讨论】:

    • 感谢@Andrew 我的场景需要 - 描述格式化的 db.table_name (partition_name=partition_value)
    【解决方案2】:

    您可以使用以下查询: 显示表扩展,如“your_table_name”分区(partition_name);

    这提供了更简洁的信息,并且如果您想使用 shell 脚本提取信息,它的格式也很容易传递。

    【讨论】:

    • 稍作改动即可工作 - 显示表扩展,如 'your_table_name' 分区 (partition_name=partition_value);
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-08-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-02-10
    • 2019-10-27
    • 1970-01-01
    相关资源
    最近更新 更多