【发布时间】:2019-01-26 18:00:05
【问题描述】:
Show Partitions --> 在Hive/Spark中,该命令只提供Partition,不提供hdfs/s3上的位置信息
由于我们为表中的每个分区维护不同的位置,有没有办法在不查询 Metastore 表的情况下使用 Hive/Spark 检索位置信息?
【问题讨论】:
标签: hive
Show Partitions --> 在Hive/Spark中,该命令只提供Partition,不提供hdfs/s3上的位置信息
由于我们为表中的每个分区维护不同的位置,有没有办法在不查询 Metastore 表的情况下使用 Hive/Spark 检索位置信息?
【问题讨论】:
标签: hive
DESCRIBE FORMATTED <db>.table 会返回给你位置,还有很多其他的数据。输出中会有一行以LOCATION 开头。
【讨论】:
您可以使用以下查询: 显示表扩展,如“your_table_name”分区(partition_name);
这提供了更简洁的信息,并且如果您想使用 shell 脚本提取信息,它的格式也很容易传递。
【讨论】: