【问题标题】:How to change Databricks UI files upload default path from /FileStore/tables/?如何更改 Databricks UI 文件从 /FileStore/tables/ 上传默认路径?
【发布时间】:2022-01-17 12:23:14
【问题描述】:

在尝试将文件上传到 Databricks DBFS 时,它提供的唯一上传选项是 /FileStore/tables/

enter image description here

我需要/FileStore/shared_uploads/ 中的文件。有没有办法改变它? Databricks 官方网站上的文档似乎已经过时了。如果有人能提供出路,那将是一个很大的帮助。

【问题讨论】:

    标签: file upload databricks azure-databricks


    【解决方案1】:

    此 UI 专门用于上传数据以创建表格。这就是它使用预定义路径的原因:/FileStore/tables/。除了这个界面,还有一个更灵活的 DBFS 文件浏览器——但默认是禁用的,需要enabled by administrator。启用后你can use it:

    另一种方式是直接上传文件from the notebook:

    但是如果你需要定期上传很多文件,那么最好使用Databricks CLI's fs command:databricks fs local-file 'dbfs:/remote/path'。或者您可以将文件上传到云存储,mount that location to DBFS,或者直接访问它(方法取决于云存储类型 - ADLS、S3、...)

    【讨论】:

    • 太棒了。感谢您的回答。这很有帮助:)
    【解决方案2】:

    /Filestore location 是 databricks DBFS 根位置,FileStore 是 Databricks 文件系统 (DBFS) 中的一个特殊文件夹,您可以在其中保存文件并让您的 Web 浏览器访问它们。这样你就可以 将要下载的输出文件保存到本地桌面。 从本地桌面上传 CSV 和其他数据文件以在 Databricks 上进行处理。这是您可以从本地上传文件的方式。但是你真的想从/Filstore这里移动,你可以使用下面的命令来移动需要的位置。

     dbutils.fs.mv("/FileStore/tables/", "dbfs:/dbfs/tmp/")
    

    或者只是一个文件:

    dbutils.fs.mv("/FileStore/tables/test.csv", "dbfs:/tmp/test2/test2.csv")
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2010-11-17
      • 1970-01-01
      • 1970-01-01
      • 2021-11-26
      • 1970-01-01
      • 2013-10-07
      • 1970-01-01
      • 2020-03-30
      相关资源
      最近更新 更多