Azure Databricks 外部配置单元元存储创建

Question

我正在为 azure sql 在 azure databricks 中创建元存储。我已使用 7.3 运行时为集群配置提供以下命令。如文档中所述 https://docs.microsoft.com/en-us/azure/databricks/data/metastores/external-hive-metastore#spark-options

spark.hadoop.javax.jdo.option.ConnectionDriverName com.microsoft.sqlserver.jdbc.SQLServerDriver
spark.hadoop.javax.jdo.option.ConnectionURL jdbc:sqlserver://xxx.database.windows.net:1433;database=hivemetastore
spark.hadoop.javax.jdo.option.ConnectionUserName xxxx
datanucleus.fixedDatastore false
spark.hadoop.javax.jdo.option.ConnectionPassword xxxx
datanucleus.autoCreateSchema true
spark.sql.hive.metastore.jars builtin
spark.sql.hive.metastore.version 1.2.1
hive.metastore.schema.verification.record.version false 
hive.metastore.schema.verification false

--

之后，当我尝试创建数据库元存储时，我将自动取消。 我在数据块中的数据部分出现错误，我也无法复制。

集群设置

命令

Answer 1

--更新

根据cmets中更新的错误信息

允许的最大长度为 8000，当在声明 VARCHAR 列时指定长度。

解决方法：对列“PARAM_VALUE”使用 VARCHAR(8000) 或 VARCHAR(MAX)。我更喜欢使用 nvarchar(max)，因为 nvarchar (MAX) 最多可以存储 2GB 的字符。

---

显然找到了一个已知问题的官方记录！

见Error in CREATE TABLE with external Hive metastore

这是 MySQL 8.0 的一个已知问题，默认字符集为 utfmb4.

尝试运行这个来确认

SELECT default_character_set_name FROM information_schema.SCHEMATA S WHERE schema_name = "<database-name>"

如果是，请参考Solution

您需要更新或重新创建数据库并将字符集设置为 拉丁语1.

你有两个选择：

1. 在每个 CREATE TABLE 语句的末尾使用 DEFAULT CHARSET=latin1 在 Hive 数据库中手动运行 create 语句。

2. 设置数据库和用户帐户。并创建数据库并运行alter database hive character set latin1；在启动元存储之前。 （此命令设置数据库的默认 CHARSET。它在元存储创建表时应用。）