仅当文件不存在时才使用 dbtuils 复制 Databricks 文件答案

【问题标题】：Databricks file copy with dbtuils only if file doesn't exist仅当文件不存在时才使用 dbtuils 复制 Databricks 文件
【发布时间】：2018-12-29 17:43:07
【问题描述】：

我正在使用以下 databricks utilites (dbutils) 命令将文件从一个位置复制到另一个位置，如下所示：

dbutils.fs.cp('adl://dblake.azuredatalakestore.net/jfolder2/thisfile.csv','adl://cadblake.azuredatalakestore.net/landing/')

但是，我希望仅当不存在具有相同名称“thisfile.csv”的此类文件时才复制该文件。

有人可以告诉我这是否可能吗？

如果没有，还有其他解决方法吗？

【问题讨论】：

标签： databricks azure-databricks

【解决方案1】：

dbutils.fs.ls() 列出给定路径中的文件。

所以你可以在复制文件之前检查thisfile.csv是否存在：

if "thisfile.csv" not in [file.name for file in dbutils.fs.ls("adl://cadblake.azuredatalakestore.net/landing/")]:
    dbutils.fs.cp("adl://dblake.azuredatalakestore.net/jfolder2/thisfile.csv", "adl://cadblake.azuredatalakestore.net/landing/")

【讨论】：