无论如何要在 foreachpartition 中使用 dbutils.fs 命令？

Question

我正在尝试在 adls gen2 中移动文件，标准 dbtutils.fs.mv 对于该任务来说非常慢，因为文件数远远超过 200k。我正在考虑并行化该过程，因此我从文件列表中创建了一个 RDD，并尝试在该 dbutils.fs.mv 中使用 foreachPartition。当我尝试这样做时，它会引发错误 - java.io.IOException: No FileSystem for scheme: wasbs

还尝试使用sc.hadoopConfiguration.set("fs.wasbs.impl","org.apache.hadoop.fs.azure.NativeAzureFileSystem")，但这只会在 Azure 本机文件系统的行上产生另一个错误。

也欢迎任何其他方法来实现这一点。

提前致谢。

Answer 1

问题不在于 foreachPartition，而是使用 ADLS Gen2，它在挂载存储上运行良好。