如何使用 pyspark 和/或 databricks utils 在 S3 目录中创建文件名列表

Question

我需要将文件从一个 S3 存储桶目录移动到另外两个目录。我必须从 Databricks 笔记本上执行此操作。如果文件有 json 扩展名，我将进入 jsonDir。否则，我将进入 otherDir。大概我会用 pyspark 和 databrick utils (dbutils) 来做到这一点。

我不知道 S3 存储桶的名称，只知道它的相对路径（称为 MYPATH）。例如，我可以这样做：

dbutils.fs.ls(MYPATH)

它列出了 S3 目录中的所有文件。不幸的是，使用 dbutils，您可以一次移动一个文件或所有文件（没有通配符）。我的大部分程序是：

for file in fileList:
  if file.endswith("json"):
    dbutils.fs.mv(file, jsonDir)
    continue
  if not file.endswith("json")
    dbutils.fs.mv(file, otherDir)
    continue

我的问题：我不知道如何从 MYPATH 中检索文件列表以将它们放入数组“fileList”中。我会很感激任何想法。谢谢。

Answer 1

我认为如果你做这些小改动，你的代码就会运行：

fileList = dbutils.fs.ls(MYPATH)
for file in fileList:
  if file.name.endswith("/"): # Don't copy dirs
    continue
  if file.name.endswith("json"):
    dbutils.fs.mv(file.path, jsonDir + file.name)
    continue
  if not file.name.endswith("json"):
    dbutils.fs.mv(file.path, otherDir + file.name)
    continue

在这里，file.name 被附加以将文件名保留在新目录中。我需要这个 Azure dbfs 支持的存储，否则所有内容都会移动到同一个 blob。 jsonDir 和 otherDir 必须以 / 字符结尾。