如何将文件从 Azure Databricks python notebook 保存到 ADLS？答案

【问题标题】：How can I save files to ADLS from Azure Databricks python notebook?如何将文件从 Azure Databricks python notebook 保存到 ADLS？
【发布时间】：2022-10-04 18:26:42
【问题描述】：

有谁知道如何将数据块笔记本中的屏幕截图直接保存到 ADLS。我已经建立了连接，但由于某种原因我不能直接这样做，所以我保存到 DBFS 然后将文件移动到 ADLS 目前这有效：

driver.save_screenshot('/dbfs/test.png')
dbutils.fs.mv('dbfs:/', 'abfss://<container>@<storage-account>.dfs.core.windows.net/', recurse=True)

理想情况下，我想一步完成，而不是保存在根存储中而不是移动，如下所示：

driver.save_screenshot('abfss://<container>@<storage-account>.dfs.core.windows.net/test.png')
or
driver.save_screenshot('/abfss/<storage-account>/<container>/test.png')

最后，设置 Unity 目录和相应的 Metastore 是否有助于将 DBFS 根存储位置更改为 ADLS，以便我可以直接使用容器而无需每次都指定链接？在这种情况下，最佳做法是什么？

非常感谢！

【问题讨论】：

标签： python azure databricks azure-databricks

【解决方案1】：

Databricks 认为'abfs'作为外部路径，所以一些函数只考虑本地路径来保存文件

而不是使用'abfs'我们必须提供的路径'mnt 路径'将文件直接保存到ADLS.

driver.save_screenshot('/mnt/Input_path/<foldername>/test.png')

【讨论】：