无法从 HDFS 读取文件答案

【问题标题】：Unable to read file from HDFS无法从 HDFS 读取文件
【发布时间】：2016-11-09 12:49:24
【问题描述】：

我正在尝试从 HDFS 读取文件。我正在使用以下代码：

val sam = sc.wholeTextFiles("hdfs://localhost:9000"+inputFolder,4)

我收到以下错误：

java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost, expected: hdfs://localhost:9000

我在文件路径中添加 URI 时参考了这个问题：
Cannot Read a file from HDFS using Spark

但由于上述错误，我仍然无法读取文件。我该如何解决这个问题？

【问题讨论】：

什么是inputFolder?
HDFS内部路径的字符串变量...
我对这个错误感到困惑，说你使用了hdfs://localhost，但是expected: hdfs://localhost:9000，这就是你的代码已经在使用的。你确定 HDFS 正在运行并且在端口 9000 上并且在你的本地主机上吗？
是的，我在 core-site.xml 文件中检查了它
那么sc.wholeTextFiles(inputFolder,4)呢？

【解决方案1】：

您能否检查在系统中添加 winutils.exe 并为其设置环境变量。 Spark 需要 winutils.exe 来进行 hdfs 操作。

【讨论】：

【解决方案2】：

尝试使用 IP 而不是 localhost

【讨论】：