描述火花表/查看评论答案

【问题标题】：describe spark table/view comment描述火花表/查看评论
【发布时间】：2022-06-16 05:34:40
【问题描述】：

我们可以创建一个表格并使用描述它的评论来查看它。例如（来自spark docs）：

CREATE TABLE student (id INT, name STRING, age INT) USING CSV
    COMMENT 'this is a comment'
    TBLPROPERTIES ('foo'='bar');

如何以“干净的格式”检索评论？ 干净的格式是指（或几乎只有）表名和描述它的注释。我发现的任何其他解决方案都会让我因所有列类型和信息而膨胀（我没有在这种情况下需要）。

我试过了：

DESCRIBE student
DESCRIBE EXTENDED student
SHOW CREATE TABLE student
DESCRIBE DETAIL student -- databricks only
SHOW VIEWS FROM default -- to try seeing views description
SHOW TABLES FROM default -- to try seeing tables description

最好有SHOW TABLE/SHOW VIEWS 之类的东西，但要在列中添加描述。

对此是否有开箱即用的解决方案？如果没有，有没有很好的自定义方法来实现它？

谢谢。

【问题讨论】：

标签： apache-spark apache-spark-sql databricks

【解决方案1】：

没有办法只获得表格评论。但是，使用 Scala 将其从 DESCRIBE TABLE 语句中过滤出来相当容易。

spark.sql("CREATE TABLE student (id INT, name STRING, age INT) USING CSV COMMENT 'this is a comment'")
spark.sql("DESCRIBE TABLE EXTENDED student").filter($"col_name" === "Comment").show

+--------+-----------------+-------+
|col_name|        data_type|comment|
+--------+-----------------+-------+
| Comment|this is a comment|       |
+--------+-----------------+-------+

【讨论】：