无法使用新的 File.listFiles 列出 hdfs 目录中的文件

【问题标题】：cannot list files in a hdfs dir using new File.listFiles无法使用新的 File.listFiles 列出 hdfs 目录中的文件
【发布时间】：2017-09-29 06:21:25
【问题描述】：

我尝试列出的文件夹具有完全权限，但仍然不能。请帮忙在这里输入代码：

scala> new File("hdfs://mapdigidev/apps/hive/warehouse/da_ai.db/t_fact_ai_pi_ww").listFiles
res0: Array[java.io.File] = null

【问题讨论】：

哪些工具可以让您列出文件并查看其中的实际内容？
见stackoverflow.com/questions/27023766/…。您需要使用知道如何处理 HDFS 的库，而 java.io 不需要。

标签： scala

【解决方案1】：

您可以使用 hadoop 库来列出 hadoop 中的文件：

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileSystem, Path}

val fs = FileSystem.get(new URI("hdfs://mapdigidev"), new Configuration())
val files = fs.listFiles(new Path("/apps/hive/warehouse/da_ai.db/t_fact_ai_pi_ww"), false)

但是 java.io 不知道 hadoop/hdfs。

【讨论】：