如何通过 Spark 运行 HDFS 文件系统命令？

【问题标题】：How to run HDFS file system command via Spark?如何通过 Spark 运行 HDFS 文件系统命令？
【发布时间】：2019-10-25 00:00:30
【问题描述】：

我可以为 HDFS 运行这个命令：

hadoop fs -ls /user/hive/warehouse/databasename.db/tablename

如何在 Spark 中编写命令以显示 HDFS 中特定文件夹下的所有文件？

谢谢。

【问题讨论】：

这可能是stackoverflow.com/questions/27023766/… 的可能副本 FileSystem 有大部分可用的 HDFS 命令，因此它可能满足您的需求。

标签： apache-spark hadoop hdfs

【解决方案1】：

好的，下面的scala代码只是给你一个打印父路径下所有hdfs文件的功能。你可以根据你的需要改进它。

  def getAllPaths(parentPath:String, fs: FileSystem) = {
    val fileStatus = fs.listStatus(new Path(parentPath))
    for( file<- fileStatus) {
      println(file.getPath.toString)
    }
  }

【讨论】：