Azure Databricks 外部化元存储 - MSFT 脚本未运行

Question

我正在尝试在 AzureSQL 上使用外部配置单元元存储设置 azure databricks。 在进行设置时，我创建了 Azure SQL。现在我必须运行一个给定 sql script 的 MSFT，它具有表和索引创建 sql。

当我运行它时，它能够创建新表，但创建索引失败。我对数据库具有完全访问权限。可能缺少一些补助金。还有为什么 MSFT 或 Databrick 的流程这么长？

或者如果有更好的方法来外部化元数据。请帮助。

Answer 1

使用 Azure Databricks UI 设置外部元存储：Checkout Set up an external metastore using the UI

1. 点击侧边栏上的集群按钮。

2. 点击创建集群。

3. 输入以下Spark configuration options：

   # Hive-specific configuration options.
   # spark.hadoop prefix is added to make sure these Hive specific options propagate to the metastore client.
   # JDBC connect string for a JDBC metastore
   spark.hadoop.javax.jdo.option.ConnectionURL <mssql-connection-string>
   
   # Username to use against metastore database
   spark.hadoop.javax.jdo.option.ConnectionUserName <mssql-username>
   
   # Password to use against metastore database
   spark.hadoop.javax.jdo.option.ConnectionPassword <mssql-password>
   
   # Driver class name for a JDBC metastore
   spark.hadoop.javax.jdo.option.ConnectionDriverName com.microsoft.sqlserver.jdbc.SQLServerDriver
   
   # Spark specific configuration options
   spark.sql.hive.metastore.version <hive-version>
   # Skip this one if <hive-version> is 0.13.x.
   spark.sql.hive.metastore.jars <hive-jar-source>
   
   

4. 按照Configure clusters 中的说明继续您的集群配置。

5. 点击创建集群来创建集群。