从hadoop文件系统读取文件后从本地文件系统读取文件

Question

我正在尝试从本地 EMR 文件系统中读取文件。它在文件夹/emr/myFile.csv 下作为文件存在。但是，我不断收到FileNotFoundException。这是我用来阅读它的代码行：

val myObj: File = new File("/emr/myFile.csv")

我也在文件路径中添加了一个file://// 前缀，因为我已经看到它对其他人有用，但这仍然不起作用。所以我也尝试直接从存储在文件夹中的hadoop文件系统中读取：/emr/CNSMR_ACCNT_BAL/myFile.csv，因为我认为它可能默认在hdfs中检查。但是，这也会产生FileNotFoundException。这是代码：

val myObj: File = new File("/emr/CNSMR_ACCNT_BAL/myFile.csv")

我怎样才能把这个文件读入一个文件？

Answer 1

对于您的第一个^st 问题：

当您提交 hadoop 作业应用程序时，可以在您的任何工作节点（包括主节点）上创建主节点（取决于您的配置）。
如果您使用的是 EMR，默认情况下，您的应用程序主节点会在您的任何工作节点（CORE 节点）上创建而不是主节点。

当您说file:///emr/myFile.csv 此文件存在于您的本地文件系统上（我假设这意味着在主节点上）时，您的程序将在应用程序主节点所在的那个节点上搜索此文件，并且它绝对不在您的主节点，因为这样你不会得到任何错误。

---

2^nd 问题：

当您尝试使用 java File.class 访问 HDFS 中的文件时，它将无法访问该文件。
您需要使用 hadoop FileSystem api (org.apache.hadoop.fs.FileSystem) 与 HDFS 文件进行交互。

也使用HDFS文件标签hdfs://<namenode>:<port>/emr/CNSMR_ACCNT_BAL/myFile.csv。
如果您的core-site.xml 包含fs.defaultFS 的值，那么您不需要简单地输入名称节点和端口信息hdfs:///emr/CNSMR_ACCNT_BAL/myFile.csv

---

那么在访问 hadoop 集群中的文件时，这里有什么更好的选择？
答案取决于您的用例，但大多数情况下将它放在 HDFS 中会更好，因为您不必担心应用程序主控器在哪里。每个节点都可以访问 hdfs。

希望能解决您的问题。