【发布时间】:2022-01-17 12:23:14
【问题描述】:
在尝试将文件上传到 Databricks DBFS 时,它提供的唯一上传选项是 /FileStore/tables/
我需要/FileStore/shared_uploads/ 中的文件。有没有办法改变它? Databricks 官方网站上的文档似乎已经过时了。如果有人能提供出路,那将是一个很大的帮助。
【问题讨论】:
标签: file upload databricks azure-databricks
在尝试将文件上传到 Databricks DBFS 时,它提供的唯一上传选项是 /FileStore/tables/
我需要/FileStore/shared_uploads/ 中的文件。有没有办法改变它? Databricks 官方网站上的文档似乎已经过时了。如果有人能提供出路,那将是一个很大的帮助。
【问题讨论】:
标签: file upload databricks azure-databricks
此 UI 专门用于上传数据以创建表格。这就是它使用预定义路径的原因:/FileStore/tables/。除了这个界面,还有一个更灵活的 DBFS 文件浏览器——但默认是禁用的,需要enabled by administrator。启用后你can use it:
另一种方式是直接上传文件from the notebook:
但是如果你需要定期上传很多文件,那么最好使用Databricks CLI's fs command:databricks fs local-file 'dbfs:/remote/path'。或者您可以将文件上传到云存储,mount that location to DBFS,或者直接访问它(方法取决于云存储类型 - ADLS、S3、...)
【讨论】:
/Filestore location 是 databricks DBFS 根位置,FileStore 是 Databricks 文件系统 (DBFS) 中的一个特殊文件夹,您可以在其中保存文件并让您的 Web 浏览器访问它们。这样你就可以
将要下载的输出文件保存到本地桌面。
从本地桌面上传 CSV 和其他数据文件以在 Databricks 上进行处理。这是您可以从本地上传文件的方式。但是你真的想从/Filstore这里移动,你可以使用下面的命令来移动需要的位置。
dbutils.fs.mv("/FileStore/tables/", "dbfs:/dbfs/tmp/")
或者只是一个文件:
dbutils.fs.mv("/FileStore/tables/test.csv", "dbfs:/tmp/test2/test2.csv")
【讨论】: