从数据块连接到数据湖（ADLS Gen2）存储时出错答案

【问题标题】：Error connecting to DataLake(ADLS Gen2) store from databricks从数据块连接到数据湖（ADLS Gen2）存储时出错
【发布时间】：2019-10-03 18:18:16
【问题描述】：

我正在尝试从 databricks python 连接到 dataLake Gen2 存储，不幸的是我遇到了错误。

代码：

dbutils.fs.ls("abfss://<fsystem name>@<storage name>.dfs.core.windows.net/<folder name>")

错误信息：

找不到配置属性 .dfs.core.windows.net。

我怀疑这是否与我的挂载代码有关？此外，我还使用存储资源管理器将租户 ID 添加到容器“管理访问”。

这是我的挂载代码：

configs = {"fs.azure.account.auth.type": "OAuth",
       "fs.azure.account.oauth.provider.type": "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
       "fs.azure.account.oauth2.client.id": "<client ID>",
       "fs.azure.account.oauth2.client.secret":  "secret",
       "fs.azure.account.oauth2.client.endpoint": "https://login.microsoftonline.com/directory id/oauth2/token"}
dbutils.fs.mount(  source = "abfss://filesystem name@<storage name>.dfs.core.windows.net/",  mount_point = /mnt/soldel",  extra_configs = configs)

挂载代码运行良好，没有错误。请推荐

【问题讨论】：

标签： azure-data-lake azure-databricks

【解决方案1】：

注意：如果不使用 Databricks 配置存储帐户，则无法访问 Azure Data Lake Gen2 帐户。

这是预期的错误消息，因为您尚未使用 databricks 配置存储帐户来列出文件系统。

请查看错误信息并查看 Databricks 中列表文件系统的正确进程。

更多详情请参考“Databricks - Azure Data Lake Storage Gen2”。

希望这会有所帮助。

【讨论】：