我在 Databricks 上的 python 笔记本中使用 JDBC 创建了一些配置单元表。这是在数据科学和工程 UI 上。我可以使用魔术命令 % 查询 Databricks Notebook 和用户直接 SQL 中的表
切换到 Databricks SQL UI 时，我仍然能够在 Hive 元存储资源管理器中看到表。但是我无法读取数据。一条非常明确的消息说只支持 csv、parquet 等。
尽管如此，我发现这令人惊讶，因为我可以在 DS 和 Engineering UI 上使用数据，为什么在 Databricks SQL 上不是这样？有什么办法可以克服吗？
标签： sql-server databricks azure-databricks databricks-sql
是的，Databricks SQL 现在只支持基于文件的格式，这是一个已知的限制。我记得它与安全模型有关，再加上 DBSQL 在后台使用 Photon 的事实，而 JDBC 集成的性能可能不那么好。您可以联系您的解决方案架构师或客户成功工程师，以获取有关将来是否会支持的信息。
当前的解决方法只是让一个作业定期通过 JDBC 从数据库中读取所有数据并转储到 Delta 表中 - 与 JDBC 相比，它的性能可能更高，唯一的问题是数据的新鲜度。
【讨论】：
您可以使用外部表将 Hive 表从云存储导入 Databricks，并使用 Databricks SQL 对其进行查询。
步骤1：显示 CREATE TABLE 语句
在 Hive 命令行上发出 SHOW CREATE TABLE <tablename> 命令以查看创建表的语句。
参考下面的例子：
hive> SHOW CREATE TABLE wikicc;
OK
CREATE TABLE `wikicc`(
`country` string,
`count` int)
ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
'/user/hive/warehouse/wikicc'
TBLPROPERTIES (
'totalSize'='2335',
'numRows'='240',
'rawDataSize'='2095',
'COLUMN_STATS_ACCURATE'='true',
'numFiles'='1',
'transient_lastDdlTime'='1418173653')
第2步：发出 CREATE EXTERNAL TABLE 语句
如果返回的语句使用创建表命令，复制语句并替换使用 CREATE EXTERNAL TABLE 创建表.
EXTERNAL 确保 Spark SQL 在您删除表时不会删除您的数据。
您可以省略 TBLPROPERTIES 字段。
DROP TABLE wikicc
CREATE EXTERNAL TABLE `wikicc`(
`country` string,
`count` int)
ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
'/user/hive/warehouse/wikicc'
第 3 步：对数据发出 SQL 命令
SELECT * FROM wikicc
来源：https://docs.databricks.com/data/data-sources/hive-tables.html
【讨论】：