尝试在 ADLS Gen2 上创建增量表时出现 Databricks 错误答案

【问题标题】：Databricks error while trying to create delta table on ADLS Gen2尝试在 ADLS Gen2 上创建增量表时出现 Databricks 错误
【发布时间】：2021-07-22 05:49:46
【问题描述】：

我正在使用 Azure Databricks 在 Azure Data Lake Storage Gen2 上创建增量表并遇到错误。

代码：

dataframe.write.format("delta").mode("overwrite").option("path","abfss://<ContainerName>@<StorageAccount>.dfs.core.windows.net").saveAsTable("test_table")

错误：

IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: abfss://<ContainerName>@<StorageAccount>.dfs.core.windows.net_delta_log

【问题讨论】：

你真的有abfss://@.dfs.core.windows.net的路径还是只是为了隐藏名字而改了？
嗨@AlexOtt，这是一个错字。我已经更新了我的 OP。

标签： azure-databricks azure-data-lake-gen2

【解决方案1】：

您需要将路径设置为 Data Lake 内的特定目录，而不是容器顶部。比如：

ContainerName = "container"
StorageAccount = "account"
table_path = f"abfss://{ContainerName}@{StorageAccount}.dfs.core.windows.net/test-table"
dataframe.write.format("delta").mode("overwrite")\
  .option("path", table_path).saveAsTable("test_table")

【讨论】：

嗨@AlexOtt，我遇到了以下错误 Py4JJavaError: An error occurred while calling saveAsTable Failure to initialize configuration。
如我所说，尝试指定目录名